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本 书 各 章 首先 分 析 具 体 应 




















构 ， 最 后 青 对 具体 的 应 用 展开 





j 场 景 ， 然 后 根据 场景 选择 适当 的 技术 与 架 
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革 都 力争 通过 实际 操作 使 读者 理 











解 云 计算 的 相关 概念 与 技术 ， 并 将 负载 均衡 、 文 件 共 享 、 数 据 挖掘 、 模 拟 








计算 这 些 在 实际 工作 中 有 可 能 而 























到 的 问题 抽象 为 具体 的 应 用 ， 并 配 以 代码 





实现 。 为 了 便于 理解 ， 有 些 应 用 程序 还 使 用 了 单机 与 多 机 环境 双重 实现 。 
本 书 适合 对 云 计算 具有 初步 认识 并 希望 通过 云 计算 逐步 改善 应 用 和 基 
而 设施 的 读者 阅读 ， 也 可 供 云 计算 的 应 用 开发 人 员 、 行 业 专业 人 士 以 及 相 
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出 版 说 明 


随 着 信息 科学 与 技术 的 迅速 发 展 ， 人 类 每 时 每 刻 都 会 面 对 层出不穷 的 新 技术 和 新 概念 。 
毫 无 疑问 ， 在 节奏 越 来 越 快 的 工作 和 生活 中 ， 人 们 需要 通过 阅读 和 学 习 大 量 信息 丰富 、 具 备 
实践 指导 意义 的 图 书 来 获取 新 知识 和 新 技能 ， 从 而 不 断 提 高 自身 素质 ， 紧 跟 信 息 化 时 代 发 展 
的 步伐 。 

众所周知 ， 在 计算 机 硬件 方面 ， 高 性 价 比 的 解决 方案 和 新 型 技术 的 应 用 一 直 备 受 青睐 ; 
在 软件 技术 方面 ， 随 着 计算 机 软件 的 规模 和 复杂 性 与 日 俱 增 ， 软件 技 术 不 断 地 受到 挑战 ， 人 
们 一 直 在 为 寻求 更 先进 的 软件 技术 而 奋斗 不 止 。 目 前 ， 计 算 机 在 社会 生活 中 日 益 普 及 ， 随 着 
Internet 延伸 到 人 类 世界 的 方方面面 ， 掌 握 计算 机 网 络 技 术 和 理论 已 成 为 大 众 的 文化 需求 。 
由 于 信息 科学 与 技术 在 电工 、 电 子 、 通 信 、 工 业 控制 、 智 能 建筑 、 工 业 产品 设计 与 制造 等 专 
业 领 域 中 已 经 得 到 充分 、 广 泛 的 应 用 ， 所 以 这 些 专业 领域 中 的 研究 人 员 和 工程 技术 人 员 越 来 
越 迫 切 需要 汲取 自身 领域 信息 化 所 带 来 的 新 理念 和 新 方法 。 

针对 人 们 了 解 和 掌握 新 知识 、 新 技能 的 热切 期 待 ， 以 及 由 此 促成 的 人 们 对 语言 简洁 、 内 
容 充实 、 融 合 实践 经 验 的 图 书 人 迫切 需 要 的 现状 ， 机 械 工业 出 版 社 适 时 推出 了 “信息 科学 与 
技术 从 书 ”。 这 套 从 书 涉及 计算 机 软件 、 硬 件 、 网 络 和 工程 应 用 等 内 容 ， 注 重 理论 与 实践 的 
结合 ， 内 容 实用 、 层 次 分 明 、 语 言 流畅 ， 是 信息 科学 与 技术 领域 专业 人 员 不 可 或 缺 的 参 
考 书 。 

目前 ， 信 息 科 学 与 技术 的 发 展 可 谓 一 日 千里 ， 机 械 工业 出 版 社 欢迎 从 事 信 息 技术 方面 工 
作 的 科研 人 员 、 工 程 技 术 人 员 积 极 参与 我 们 的 工作 ， 为 推进 我 国 的 信息 化 建设 作出 贡献 。 
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云 计算 是 计算 机 领域 近年 来 很 热 的 一 个 词 ， 从 最 早 Google 提出 这 个 概念 ， 到 Apache HÈ 
出 相应 的 云 计算 开源 项 目 ， 再 到 各 个 公司 推出 云 手机 、 云 计算 管理 软件 、 云 计算 安全 产品 
等 ， 不 过 短 短 两 三 年 的 时 间 。 各 种 关于 云 计算 的 产品 与 概念 爆炸 式 增长 ， 形 形 色 色 ， 令 人 眼 
花 综 乱 。 关 于 云 计算 的 相关 技术 与 产品 实在 是 太 多 ， 这 无 形 中 提高 了 学 习 与 应 用 云 计 算 的 门 
槛 。 我 们 需要 一 个 可 以 贯穿 云 计算 所 有 技术 的 线索 ， 以 帮助 我 们 逐步 打开 通 向 云 计算 的 
大 门 。 

笔者 认为 这 个 线索 就 是 应 用 ， 不 管 什么 样 的 技术 最 终 都 是 为 具体 的 需求 、 应 用 服务 的 。 
本 书 的 目的 就 在 于 通过 编写 基于 云 计 算 开 发 环境 的 应 用 程序 ， 为 读者 提供 一 条 学 习 和 掌握 云 
计算 技术 的 途径 。 

记得 Linux 系统 的 发 明 者 Linus 曾经 说 过 ， 要 理解 一 个 系统 的 真正 运行 机 制 ， 一 定 要 阅 
读 其 源 代 码 。 套 用 到 学 习 使 用 一 个 系统 也 是 类 似 的 ， 我 们 需要 动手 去 编写 基于 该 系统 的 程 
序 ， 并 在 不 断 的 调试 与 改进 中 熟悉 这 个 系统 。 为 此 本 书 提供 了 大 量 的 应 用 实例 ， 并 配 以 源 代 
码 实现 。 

由 于 大 部 分 的 云 计 算 环 境 文 持 Java 语言 作为 应 用 编程 语言 ， 故 本 书 大 部 分 代码 使 用 Java 
编写 ， 在 阅读 本 书 时 ， 读 者 需要 会 使 用 Java 或 者 类 似 的 C/C ++ 语 言 。 

如 果 您 没 听 说 过 Java, C/C ++ 这 些 名 词 ， 但 是 又 迫不及待 想 了 解 一 下 云 计算 技术 的 应 
用 ， 笔 者 建设 您 首先 阅读 本 书目 录 以 及 第 1 章 与 第 10 章 。 

本 书 大 部 分 章节 都 以 一 个 具体 的 应 用 场景 为 引子 ， 在 分 析 和 解决 问题 的 过 程 中 ， 挑 选 合 
适 的 云 计 算 技 术 与 产品 ， 并 给 出 具体 的 实现 代码 。 

第 1 章 主 要 通过 实例 介绍 云 计算 的 相关 概念 ， 并 不 详细 讨论 实现 细节 ， 您 只 要 会 上 网 下 
载 程 序 ， 会 安装 程序 ， 那 么 通过 阅读 本 章 将 能 够 在 自己 的 云 计 算 环 境 中 部 署 一 个 宠物 商店 。 
对 于 想 了 解 云 计算 能 做 什么 ， 但 又 不 太 会 编程 的 读者 来 说 ， 您 在 阅读 本 章 时 可 以 重点 关注 云 
计算 环境 的 搭建 、 部 署 和 基本 概念 ， 忽 略 性 能 提高 等 编程 部 分 。 

第 2 章 主要 讲解 搭建 云 计算 基础 架构 所 需要 的 虚拟 化 、 主 机 管理 以 及 负载 均衡 方面 的 技 
术 和 产品 。 

第 3 章 主 要 讲解 搭建 集群 并 行 计算 环境 所 需要 的 技术 和 产品 ， 主 要 围绕 Hadoop, HBase 
这 些 常用 工具 进行 介绍 。 

第 4 章 主 要 讲解 公共 云 计算 平台 ， 主 要 围绕 Google APP Engine, Amazone AWS 以 及 常见 
的 IDC 服务 进行 介绍 。 

第 5 章 主 要 是 对 前 面 第 2、3、4 章 的 总 结 ， 并 利用 前 面 所 介绍 的 工具 实现 一 个 基于 云 计 
算 技术 的 文件 共享 系统 。 

第 6 章 主 要 介绍 了 Apriori 数据 挖掘 算法 ， 并 使 用 云 计 算 技术 结合 数据 挖掘 算法 挖掘 商 
品 之 间 的 相关 性 。 

第 7 章 主要 介绍 蒙特 卡 罗 金 融 算 法 ， 并 使 用 云 计算 技术 结合 金融 算法 预测 投资 收益 率 。 
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第 8 章 主要 介绍 如 何 将 云 计算 与 常见 的 办 公 软 件 相 结合 ， 该 章 以 Microsoft Excel 为 例 ， 
将 它 与 云 计算 软 件 相 结合 ， 以 达到 充分 利用 本 机 计算 资源 的 目的 。 

第 9 章 主 要 介绍 常用 科学 计算 软件 与 云 计 算 的 集成 ， 该 章 以 MATLAB 为 例 ， 讲 解 了 云 
计算 如 何 与 科学 计算 软件 集成 ， 并 对 集成 进行 分 析 ， 探 索 公共 集成 框架 与 接口 。 

第 10 章 主 要 围绕 如 何 运 营 维 护 云 计算 环境 ,重点 在 于 如 何 使 用 现 有 的 标准 来 规范 云 计 
算 环 境 的 管理 与 维护 。 

另外 本 书 的 附录 介绍 了 所 需 了 解 的 相关 技术 ， 和 希望 有 助 于 读者 将 应 用 程序 部 署 到 云 环 
境 里 。 

本 书 通 过 应 用 实践 的 方式 介绍 云 计算 的 相关 技术 ， 故 大 部 分 章节 都 会 有 一 个 应 用 场景 ， 
并 根据 具体 的 应 用 场景 选择 适当 的 技术 加 以 实现 。 很 多 关于 云 计算 的 概念 将 随 着 问题 的 解决 
而 深入 展开 ， 在 需要 的 时 候 讲 解 。 这 样 的 方式 有 助 于 整理 相似 应 用 场景 的 云 计 算 概念 。 如 果 
您 恰好 也 遇 到 类 似 的 应 用 场景 ， 不 妨 以 本 书 的 实现 作 参 考 。 

本 书 主要 面向 那些 需要 使 用 云 计算 解决 具体 问题 ， 以 及 希望 了 解 云 计算 可 以 解决 什么 问 
题 的 读者 。 

本 书 由 徐强 和 王 振 江 编著 。 其 中 ， 王 振江 负责 本 书 第 6 章 的 编写 ， 其 他 章节 由 徐强 编写 
并 统 稿 。 本 书 附带 一 张 光盘 ， 内 容 为 书 中 所 涉及 的 应 用 系统 的 源 代码 及 其 使 用 说 明 。 

需要 注意 的 是 ， 虽 然 本 书 力争 使 每 一 个 应 用 程序 的 实现 都 是 最 佳 ， 但 由 于 作者 水 平 有 
限 ， 以 及 每 个 人 对 选择 具体 云 计算 产品 的 理解 不 同 ， 本 书 的 实现 在 具体 的 环境 下 ， 不 一 定 能 
完全 满足 您 的 需求 。 请 将 这 些 实例 作为 参考 ， 如 果 您 觉得 某 个 实现 存在 问题 ， 欢 迎 批评 指正 
并 与 笔者 讨论 ， 邮 箱 xxqonline@ gmail. com， 微 博 http ://weibo. com/ skaterqiang。 
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第 1 章 在 云 上 架构 你 的 应 用 


在 本 书 策 划 阶 段 笔者 就 一 直 在 想 ， 该 以 一 种 什么 方式 介绍 云 计算 以 及 云 计 算 应 用 程序 
呢 ? 一 般 来 说 ， 介 绍 一 种 技术 ， 要 先 介 绍 一 下 它 的 起 源 、 历 史 和 原理 。 很 多 关于 云 计算 的 书 
籍 也 确实 是 这 人 么 做 的 ， 可 问题 是 这 样 的 介绍 无 法 引起 足够 的 兴趣 ， 因 为 它们 介绍 的 内 容 往往 
与 在 现实 中 遇 到 的 开发 或 应 用 环境 有 一 定 距 离 ， 笔 者 不 知道 这 些 介绍 对 于 解决 碰 到 的 实际 问 
题 是 否 有 用 。 每 当 看 到 这 样 的 章节 总 是 匆匆 略 过 。 于 是 笔者 开始 想 假 如 也 这 人 么 写 ,那么 各 位 
读者 估计 也 会 匆匆 略 过 。 但 历史 性 以 及 原理 性 的 介绍 对 于 理解 一 门 新 技术 还 是 很 有 益处 的 。 
于 是 笔者 的 思绪 回 到 了 自己 的 第 一 个 能 解决 实际 问题 的 应 用 程序 ， 是 不 是 可 以 把 它 移植 到 云 
计算 环境 来 ? 

笔者 的 第 一 个 能 解决 实际 问题 的 应 用 程序 是 一 个 在 宠物 商店 应 用 的 基础 上 改进 的 应 用 程 
序 。 不 知道 各 位 是 否 听 说 过 这 个 应 用 。 它 是 一 个 为 Java 程序 员 开 发 Web 程序 而 写 的 例子 ， 
最 初 是 在 Java EE 平台 上 运行 的 。 

本 章 将 介绍 如 何 将 一 个 较为 简单 的 应 用 移植 到 自己 搭建 的 云 计 算 环 境 里 ， 并 通过 举例 逐 
步 介 绍 云 应 用 程序 、 云 计算 环境 以 及 云 计 算 概 念 的 产生 与 发 展 。 













































































|t. 1 Java 宠物 商店 简介 


宠物 商店 (JPetStore) 最 初 是 Sun Microsystems 公司 基于 Java EE 平台 开发 的 一 个 实现 实 
例 ， 它 给 出 了 一 个 完整 的 宠物 商店 实现 。 用 户 几 乎 不 用 修改 就 可 以 直接 使 用 这 个 应 用 来 经 营 
自己 的 网 上 宠物 商店 。 当 然 如 果 您 愿意 也 可 以 用 来 经 营 别 的 商品 。 

最 初 的 Java 宠物 商店 由 于 全 部 使 用 J2EE 平台 的 技术 ， 而 某 些 PEE 平台 的 技术 又 对 系 
统 硬 件 要 求 比较 高 ， 所 以 很 多 Java 程序 员 对 原始 的 Java 宠物 商店 程序 进行 了 修改 ， 因 此 Ja- 
va 宠物 商店 在 网 上 有 很 多 版 本 。 

在 本 章 主 要 使 用 MyBatis 项 目的 修改 版 本 。 

MyBatis 项 目 是 一 个 开源 的 数据 库 访 问 框架 ， 通 过 修改 配置 文件 ， 用 户 可 以 快速 修改 访 
问 数 据 库 的 业务 逻辑 ( 可 以 加 到 注脚 里 ) 。 

这 个 版 本 有 几 个 好 处 : 

e 代码 质量 较 高 ， 有 专人 维护 更 新 。 

e 源 代码 开放 ， 人 允许 开发 人 员 作 修改 。 

e 使 用 常用 的 Web 设计 架构 (Struts)， 易 于 跟 大 家 平时 的 工作 相 结 合 。 


1.1.1 环境 准备 

在 读者 开始 部 署 之 前 ， 首 先 需 要 了 解 Java 宠物 商店 对 操作 系统 以 及 环境 的 要 求 。 与 大 
多 数 的 Java EE 应 用 程序 一 样 ， 它 可 以 安装 在 大 多 数 支持 Java 程序 的 操作 系统 上 ,比如 Win- 
dows, Linux, UNIX, RED Windows 为 例 进行 讲解 。 本 章 的 宠物 商店 实例 中 所 需 软 件 的 版 
本 及 下 载 地 址 如 表 1-1 所 示 。 

















表 1-1 软件 的 版 本 及 下 载 地 址 






































软件 名 称 说 H 下 载 地 址 
Java 宠物 商店 本 章 示 例 应 用 http://mybatis. googlecode. com 
JDK Java 开发 运行 工具 包 http ;//java. sun. com 
Tomcat Java 应 用 服务 器 http://tomcat. apache. org 
VMware Server VMware 提供 的 免费 虚拟 机 服务 器 http ;//www. vmware. com/products/server 


关于 JDK, Tomcat 以 及 VMware Server 的 安装 请 参阅 附录 。 
下 载 宠物 商店 程序 后 我 们 将 得 到 一 个 压缩 文件 包 mybatis - jpetstore - 6. 0. 0 — bundle. zip, 
把 它 解 压缩 后 ， 一 共有 4 个 文件 ,如 表 1-2 所 示 。 


表 1-2 mybatis -jpetstore -6. 0. 0 -bundle. zip 压缩 文件 包 内 容 


























软件 名 称 说 明 
NOTICE 软件 声明 
LICENSE 授权 文件 ， 遵 循 Apache License, Version 2. 0 授权 
mybatis — jpetstore — 6. 0. 0 — sources. jar 源 代 码 
mybatis — jpetstore — 6. 0. 0. war 宠物 商店 应 用 程序 
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1.1.2 部 署 Java 宠物 商店 


在 部 署 之 前 还 需要 准备 应 用 程序 所 需要 的 运行 环境 。 

先 介绍 一 下 笔者 所 使 用 的 硬件 设备 。 

e 一 台 台 式 机 : 2G 内 存 ， 双 核 CPU， 操 作 系 统 是 Windows 7。 用 来 作为 服务 器 部 署 宠物 
商店 应 用 程序 。 

e 一 台 便携 式 计算 机 : 2G 内 存 ， 双 核 CPU。 用 来 运行 测试 程序 ， 测 试 宠物 商店 的 响应 
速度 。 

首先 ， 在 台式 机 上 使 用 VMware Server 虚拟 化 一 个 Windows XP 操作 系统 ， 选 择 Windows 
XP 主要 是 考虑 到 很 多 程序 员 以 及 国内 企业 较为 熟悉 。 

该 虚拟 机 初始 分 配 128 MB 内 存 ，!1 个 CPU。 男 外 ,使 用 虚拟 机 搭建 环境 更 贴近 于 云 计 
算 的 真实 环境 ， 因 为 很 多 云 计算 产品 使 用 虚拟 化 技术 来 提供 服务 。 

使 用 虚拟 化 技术 部 署 应 用 有 如 下 好 处 : 

e 方便 服务 升级 。 通 过 更 改 虚拟 机 配置 ， 可 以 多 分 配 资源 给 虚拟 机 。 

e 方便 应 用 迁移 。 虚 拟 机 存储 在 硬盘 的 一 个 文件 里 ， 用 户 可 以 通过 简单 的 复制 文件 操 
作 ， 将 应 用 程序 迁移 到 其 他 计算 机 上 。 
便于 管理 。 现 在 很 多 虚拟 机 提供 Web 访问 功能 (比如 VMware Server) ， 当 有 多 台 物 理 
机 提供 虚拟 机 服务 时 ， 系 统管 理 员 可 以 通过 Web 页 面 对 虚 拟 机 进行 管理 。 

Java 宠物 商店 默认 使 用 hsqldb 作为 数据 库 ， 我 们 只 需要 安装 应 用 服务 器 Tomcat 6.0 以 
及 Java 运行 环境 JRE 5.0 (参见 附录 ) 。 

运行 环境 搭建 完成 后 ， 打 开 浏 览 器 输入 http://127. 0. 0. 1:8080/manager/html, 可 以 看 到 
Tomcat 应 用 部 署 页 面 ， 如 图 1-1 所 示 。 


(2 Imanager - Windows Internet Explorer 


Gc | [E] http127.0.0.1:8080/manager/html vx «| 了 


File Edt Yew Favorites Tools Help 









































vr Sw | 园 /manager e Thco E) dc Evae - C) Tools - 
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Deploy directory or WAR file located on server 








Context Path (required) 
XML Configuration file URL B 


WAR or Directory URL. 


WAR file to deploy 
Select WAR file to upload |Ci\share\mybatis-jpetstore-6.0.0 war 





Diagnostics 


Check to see if a web application has caused a memory leak on stop, reload or undeploy 


Find leaks This diagnostic check will trigger a full garbage collection. Use it with extreme caution on production systems 


Server Information 
Tomcat Version JVM Version JVM Vendor OS Name OS Version OS Architecture 
Apache Tomcat/6.0.30 1.5.0 22-b03 Sun Microsystems Inc Windows XP 51 x86 





1-1 Tomcat 应 用 部 署 页 面 
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fr WAR file to deploy 中 选择 应 用 程序 mybatis - jpetstore - 6. 0. 0. war， 单 击 Deploy 按钮 ， 
程序 即 被 部 署 。 

现在 用 户 可 以 看 到 宠物 商店 页 面 ， 在 浏览 器 中 输入 http://127. 0. 0. 1:8080/ mybatis - 
jpetstore - 6. 0.0， 将 看 到 如 图 1-2 所 示 的 宠物 商店 首页 面 。 








é JPetStore 可 Sonml? [— e] 





Fish | Dogs | Reptiles | Cats | Birds 


Various Breeds, Exotic Varieties 
Reptiles 

Lizards, Turtles, Snakes 

Birds 











图 1-2 宠物 商店 首页 面 

现在 用 户 拥 有 了 一 个 属于 自己 的 宠物 商店 ， 如 果 用 户 在 一 个 大 的 局 域 网 里 面 ， 现 在 就 可 
以 给 其 他 人 发 消息 ， 证 他 们 访问 宠物 商店 了 (E: 需要 把 127. 0. 0. 1 蔡 换 成 虚拟 机 使 用 的 真 
正 卫 地 址 )。 
1.1.3 ”宠物 商店 架构 介绍 

在 开始 对 宠物 商店 测试 之 前 ， 我 们 先 来 了 解 一 下 这 个 宠物 商店 应 用 程序 的 程序 架构 , 这 


有 利于 进行 测试 以 及 对 应 用 进行 修改 。 
Java 宠物 商店 从 部 署 角 度 可 以 分 成 三 大 部 分 ， 即 数据 库 、 客 户 端 浏览 器 以 及 宠物 商店 应 


用 服务 器 。 
有 些 人 把 这 三 部 分 称 为 模型 (Model), 视图 (View) 和 运行 在 应 用 服务 器 上 的 控制 器 


( Controller), 简称 MVC 模式 ， 如 图 1-3 所 示 。 


-p 
iJ 


1-3 MVC 模式 示意 图 
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(1) 视图 

视图 是 用 户 看 到 并 与 之 交互 的 界面 。 对 Web 应 用 程序 来 说 ， 视 图 就 是 由 HTML 元 素 组 
成 的 界面 。 如 何 处 理应 用 程序 的 界面 变 得 越 来 越 有 挑战 性 。MVC 模式 的 一 个 最 大 的 好 处 就 
是 它 能 为 用 户 的 应 用 程序 处 理 很 多 不 同 的 视图 。 不 管 这 些 数 据 是 联机 存储 的 还 是 一 个 雇员 列 
表 ， 在 视图 中 其 实 没 有 真正 的 处 理发 生 ， 作 为 视图 来 讲 ， 它 只 是 作为 一 种 输出 数据 并 允许 用 
户 操 纵 的 方式 。 

(2) 模型 

模型 表示 企业 数据 和 业务 规则 。 在 MVC 模式 的 三 个 部 分 中 ， 模 型 拥有 最 多 的 处 理 任 务 。 
在 我 们 使 用 的 例子 中 ， 它 通过 MyBatis 框架 来 构建 对 象 处 理 数 据 库 。 被 模型 返回 的 数据 是 中 
立 的 ， 也 就 是 说 模型 与 数据 格式 无 关 ， 这 样 一 个 模型 能 为 多 个 视图 提供 数据 。 由 于 应 用 于 模 
型 的 代码 只 需 写 一 次 就 可 以 被 多 个 视图 重用 ， 所 以 减少 了 代码 的 重复 性 。 

(3) fius 

控制 器 接受 用 户 的 输入 并 调用 模型 和 视图 去 满足 用 户 的 需求 。 所 以 当 单 击 Web 页 面 中 
的 超 链 接 或 发 送 HTML 表单 时 ， 控 制 器 本 身 不 输出 任何 东西 和 做 任何 处 理 。 它 只 是 接收 请 
求 并 决定 调用 哪个 模型 构件 去 处 理 请 求 ， 然 后 确定 用 哪个 视图 来 显示 模型 处 理 返回 的 数据 。 
在 我 们 这 个 应 用 里 ， 是 由 应 用 服务 器 上 的 程序 负责 转发 数据 。 

使 用 MVC 模式 的 另外 一 个 好 处 就 是 降低 了 应 用 程序 实现 上 的 耦合 性 ， 开 发 人 员 可 以 根 
据 需 要 对 某 一 种 对 象 进行 修改 而 不 会 影响 其 他 部 分 。 在 实际 开发 中 ,可 以 由 三 个 不 同 开发 组 
的 程序 员 并 行 开发 同一 个 程序 ， 而 又 互 不 干扰 ， 从 而 大 大 提高 了 开发 效率 。 

在 云 计 算 环 境 中 ,我 们 甚至 可 以 通过 购买 服务 来 扩展 模型 层 的 逻辑 ， 以 及 丰富 视 岁 层 的 
展示 。 而 我 们 则 可 以 专注 于 如 何 将 丰富 的 资源 通过 控制 器 连接 在 一 起 。 在 本 书 的 后 续 章 节 ， 
会 看 到 MVC 模式 在 云 计算 环境 里 的 更 多 应 用 。 
























































1.2 测试 


完成 了 应 用 程序 的 部 署 之 后 ， 需 要 进行 测试 ， 以 检测 程序 是 否 能 满足 我 们 的 需要 。 

对 于 宠物 商店 应 用 程序 来 说 ， 用 户 首先 接触 的 是 宠物 商店 的 首页 面 ， 所 以 在 这 一 节 首 先 
对 宠物 商店 应 用 的 首页 访问 速度 进行 测试 。 
1.2.1 宠物 商店 访问 速度 测试 

宠物 商店 应 用 程序 就 像 是 售货员 卖 东 西 一 样 ， 当 只 有 一 两 位 顾客 时 ， 售 货 员 一 般 可 以 应 
付 自 如 ， 当 有 多 位 顾客 时 , 售货员 想 要 满足 多 个 客户 的 需求 就 变 得 有 些 困 难 ， 主 要 就 是 反应 
速度 的 降低 。 顾 客 的 满意 度 自然 就 会 下 降 。 

所 以 ， 对 一 个 应 用 来 说 ， 访 问 速度 是 客户 首先 关心 的 问题 。 

下 面 是 针对 网 页 访问 所 总 结 出 的 几 个 关键 指标 : 

e 用 户 将 不 会 注意 少 于 0. 1s 的 延迟 。 

e 少 于 1s 的 延迟 不 会 中 断 用 户 的 正常 思维 , 但 是 一 些 延迟 会 被 用 户 注 意 到 。 

e 延迟 时 间 少 于 10s， 用 户 会 继续 等 待 响 应 。 

e 延迟 时 间 超 过 10s 后 ， 用 户 将 会 放弃 并 开始 其 他 操作 。 
























































云 计算 : 应 用 开发 实践 


也 就 是 说 ， 如 果 响 应 速度 大 于 10s， 就 一 定 要 针对 响应 速度 做 优化 。 
测试 应 用 程序 响应 速度 的 测试 工具 有 很 多 ， 这 里 用 JMeter 测试 宠物 商店 的 响应 速度 
(关于 JMeter 的 安装 请 参考 附录 ) 。 
(1) 创建 测试 计划 
这 里 模拟 100 个 用 户 ， 每 个 用 户 每 隔 1 min 访问 ， 共 访问 5 次 ， 取 平均 值 ， 右 键 单 击 
JMeter 测试 计划 , “添加 ”一 “Threads (Users)” 一 “ 线程 组 ”， 添 加 线程 组 的 步 台 ， 如 
图 1-4 所 示 。 











文件 编辑 运行 选项 帮助 



































e d mugs [ 
+E! 添加 >. Threads (Users) ^| 线程 组 
* A 粘贴 Chi 配置 元 件 EH å o 
= | Reset Gui 定时 器 »| 
2E 前 置 处 理 器 j^ 
合并 mmeg 。 ， 尺 的 变量 
保存 为 -- pip Ji 
监听 器 "| 





Save Node As Image cic 





Save Screen As Image Cul-ShiftG 





启用 
禁用 
帮助 














E 
1-4 添加 线程 组 





N 





在 打开 的 页 面 输入 以 下 内 容 。 

e 名 称 : JPetStore。 

e 线程 数 : 100 (模拟 100 个 用 户 ) 。 

* Ramp - Up Period : 60s (1 min 产生 100 个 线程 ) 。 
e 循环 次 数 : 5 次 。 

配置 线程 组 的 步骤 ， 如 图 1-5 所 示 。 
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0/0 C 
? P 测试 计划 EA0. 
+ Er [eststore 线程 组 
? py gr 名 称 : |JPetStore 
F] View R 
司 rem 注释 : TestJPetstore 


i$ 工作 台 


在 取样 器 错误 后 要 执行 的 动作 
OAS OPE OIH O Stop Test Now 

线程 属性 

线程 数 : |100 || 

Ramp-Up Period (in seconds): [eo | 

循环 次 数 [133m |5 | 

口 调度 器 









































图 1-5 配置 线程 组 























(2) 创建 Http 模拟 客户 端 
右键 单 击 JPetStore 线程 组 , “添加 ”一 “Sampler” 一 “HTTP Request HTTPClient" , 2 
又 如 图 1-6 所 示 。 
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010 C 
逻辑 控制 器 ， 
2: Eu] cux BUR D 
Gre wy Te zd NE 
粘贴 Cti-v Bum PS» 
Reset Gui AJP/A.3 Sampler CALL 
WER Delete 后 置 处 理 器 Access Log Sampler 
n dea E vam ple: Fe: 
n 监 »| Bean impler 
合并 
保存 为 Debug Sampler 
= AE 回 永 ij FTP 请 求 
Save Node As Image ”Crl-G [ri 
Save Screen As Image Cti+Shift-G lad - 
HTTP 请 求 
启用 JDBC Request 
禁用 
JMS Point-to-Point 
帮助 JMS Publisher 
TT 
图 1-6 添加 HTTP Request HTTPClient 











在 HTTP Request HTTPClient 页 面 中 配置 相关 信息 如 下 。 

e 服务 器 名 称 或 IP 填写 虚拟 机 运行 时 的 IP 地址 ， 这 里 笔者 使 用 的 地 址 是 192. 168. 48. 128。 
e 端口 号 : 填写 Tomcat 的 默认 端口 号 8080。 

e 设置 协议 : http。 

e 方法 . POST, 

配置 步骤 如 岁 1-7 所 示 。 
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0/0 T 








* à Ne 


























* E Petstore | HTTP Request HTTPClient 
P 名 称 : [HTTP Request HTTPCIient 
View Results in Table 注释 : 

@ rte 本 | 
Web 服 务 器 一 一 一 一 一 一 一 一 ————————— 7, Timeouts Imiliseconds 一 一 一 
服务 器 名 称 或 IP: |192.168.48.128 BEI: le080 | |Connect.| | Response: 
THTTP 请 求 


协议 : jhttp 方法 : post |» Content encoding: 


路 径 : [Imybatis-jpetstore-6 0.0/actions/Catalog.action 























自动 重 定向 ”四 跟随 重 定向 ”四 Use KeepAlive [ ]Use multipart/form-data for HTTP POST 


同 请 求 一 起 发 送 参数 : 



















































































































































































EH 值 编码 ? | 包含 等 于 ? | 
Xx || Wes 
同 请 求 一 起 发 送 文件 : 
文件 名 称 : SAE: | MIME 类 型 : | 
添加 || 浏览 -， |^ ge 
-Proxy Server -— = 一 
服务 器 名 称 或 Ip: | Wos: | | 用 户 名 | | gis | 
EU 
内 HTML 文 件 获取 所 有 内 含 的 资源 器 用 作 监 视 器 [C] Save response as MD5 hash? 

Embedded URLs must match: Source IP address: | 

















DS 








1-7 配置 HTTP Request HTTPClient 





云 计 算 : 应 用 开发 实践 
(3) 添加 监听 器 
单 击 右键 “添加 ”一 “监听 器 ”一 “Summary Report”( 概要 报告 ) ， 如 图 1-8 所 示 。 


| 文件 编辑 运行 选项 帮助 









B 测试 计划 
f P E Threod rou | HTTP Request HTTPCIient 


9- AP HITP Request I 5 = 
Summary Report 配置 元 件 > 
GS 工作 插入 上 级 I mE 































































































































my CtrlX 前 置 处 理 器 》 
复制 Ctrl-C 后 置 处 理 器 
粘贴 Cti-V 断言 ez 
Reset Gui Aggregate Graph 
[73 Delete 7775" BsF Listener 
打开 .… fe-6.0.0/actions BeanShell Listener 
合并 Mera 区 Comparison Assertion Visualizer 
保存 为 .… Distribution Graph (alpha) 
JSR223 Listener 
Save Node As Image — cuc EAR E m 
Save Screen As Image Ctl+Shift-G 4 E 
Spline Visualizer 
启用 
E 保存 响应 到 文件 
帮助 图 形 结果 
| 图 形 结果 
察看 结果 树 
断言 结果 
EX LI: 
| 用 表格 察看 结果 
监视 器 结果 
[us Server — — — — — —1 聚合 报告 
| 服务 器 名 称 或 Ip: | | 邮件 观察 公 
图 1-8 添加 监听 器 











(4) 执行 测试 
启动 测试 ， 单 击 “ 运 行 ”一 “启动 ”, 如 图 1-9 所 示 。 





文件 编辑 选项 帮助 
?oà 到 二 | 远程 启动 '| 
CES 
e A 远程 全 部 启动 Cri+shit-R 上 
停止 ctr-Period | 
S 工作 外 关闭 Ctr-Comma 
远程 停止 > 
远程 全 部 停止 Altx 
远程 退出 | 
远程 全 部 退出 
清除 Ctrl+ShiftE 
清除 全 部 Ctrl-E 








1-9 启动 测试 


(5) 查看 运行 结 

单 击 Summary Report. (概要 报告 )， 如 图 1-10 所 示 。 

从 结果 中 可 以 知道 ， 当 有 100 个 用 户 并 发 访问 时 ， 平均 15074 ms 才能 访问 到 网 站 首页 。 
显然 不 是 一 个 理想 的 结果 。 如 何 改 进程 序 才能 使 网 站 的 访问 速度 得 到 提高 呢 ? 





og 
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Summary Report 


Name: Summary Report 


Filename Browse... Log/Display Only: [ |Errors [ ] Successes Configure 
ratati | 








Label # Sampl Average Min Max | Std. Dev. Error 96 Throughput KB/sec Avg. Bytes 
index 500| 15074 1223| 21410| 5046.72 0.00%] 3.9/sec| 535 
TOTAL 500 15074; 1223 


到 1-10 查看 概要 报告 
































在 下 一 节 将 会 重点 讨论 。 
1.2.2. 其 他 的 测试 


根据 1.1.3 节 对 宠物 商店 程序 架构 的 分 析 ， 上 面 的 测试 主要 针对 的 是 首页 面 ， 也 就 是 针 
对 视图 层 进行 的 测试 ， 实 际 使 用 过 程 中 ， 往 往 还 要 针对 业务 逻辑 也 就 是 模型 层 进行 测试 。 比 
如 对 所 有 用 户 进行 月 结 计算 ， 这 个 时 候 数据 库 的 压力 就 会 变 大 ， 而 月 结 操作 往往 要 在 规定 的 
时 间 内 将 账单 计算 出 来 。 

为 了 避免 在 真正 的 使 用 过 程 中 遇 到 过 多 的 问题 ， 就 需要 我 们 在 真正 部 署 程 序 之 前 ， 对 程 
序 的 各 个 方面 根据 实际 情况 ( 比如 预期 的 访问 人 数 、 预 期 的 注册 用 户 量 以 及 业务 时 间 限 制 
等 ) 制订 测试 计划 ， 尽 早 发 现 问题 ， 并 及 时 解决 问题 。 

在 下 一 节 我 们 会 针对 首页 面 访问 过 慢 的 问题 ， 提 出 解决 方案 。 











1.3 针对 测试 结果 改进 应 用 


经 过 上 面 的 测试 ， 当 同时 有 100 位 用 户 并 发 访问 宠物 商店 时 ， 平 均 15074 ms 才能 访问 
到 网 站 首页 。 用 户 很 有 可 能 因为 访问 速度 过 慢 ， 而 放弃 访问 宠物 商店 。 这 一 节 的 目标 是 努力 
提高 宠物 商店 的 访问 速度 。 


1.3.1 提高 访问 速度 


1E 1.2.1 节 中 提 到 过 用 户 访问 量 的 多 少 直 接 影响 着 网 站 的 访问 速度 ， 现 实 中 人 们 可 以 训 
练 售 货 员 使 他 能 为 更 多 的 用 户 服务 。 而 在 计算 机 世界 中 ， 人 们 也 可 以 通过 增强 机 器 的 性 能 ， 
提高 应 用 的 响应 速度 。 

由 于 使 用 虚拟 机 搭建 运行 环境 ， 因 此 可 以 更 改 虚拟 机 的 配置 以 提高 虚拟 机 性 能 。 

1) 打开 VMware Server 控制 台 页 面 。 

2) 关闭 虚拟 机 。 

3) 单 击 “Hardware” 一 “Memory” 一 “Edit”， 将 内 存 提高 到 512 MB 。 

更 改 虚 拟 机 内 存 大 小 ， 如 图 1-11 所 示 。 

再 次 使 用 JMeter 测试 , 可 以 看 到 访问 速度 有 所 提高 ,平均 响应 时 间 降 低 到 7127 ms， 如 
图 1-12 所 示 。 

虽然 还 不 是 很 理想 ， 但 是 用 户 可 以 接受 这 样 的 访问 时 间 了 。 但 有 没有 办 法 使 响应 速度 提 
高 得 更 多 呢 ? 

让 我 们 再 次 回想 那个 售货员 的 例子 ， 现 实生 活 中 通常 还 有 另外 一 种 提高 售 货 速度 的 方 
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Application Virtual Machine Administration | miu) » £z 















































Inventory i Windows XP Professional 
v [] skaterhome-PC | Summary Console|-| ||Tasks | Events | Permissions 
W| Windows XP Professional Hemor 512.MB 
| 0 MB 
Notes 
| 
| Hardware 
& w| Processors 1 
E ~| Memory 512 MB 
ig T 
| i 
| um Ledit Disk 1 (IDE 0:0) 20.00 GB 
| B »| Network Adapter 1 NAT 
| iQ | SCSI Controller 0 BusLogic 
| B *| USB Controller Auto connect disabled 
| Ex *| Audio 




















1-11. 更 改 虚 拟 机 内 存 大 小 


Summary Report 

Name: [Summary Report 
Comments: 

Write results to file / Read from file 




















Filename | Browse... | Log/Display Only: Errors Successes Config 























iure 
b 
Label | # Samples Average Min Max Std. Dev. | Error % Throughput KB/sec Avg. Bytes 
HTTP Request HTT. 500| 7127 678 14300 4060.31 0.0096. 5.9/sec 31.01 5352.0 
500 7127 678 14300 4060.31 0.0096 5.9isec 3101 5352.0) 























图 1-12 将 内 存 提高 到 $12 MB 后 的 测试 结果 


式 ， 那 就 是 增加 售货员 的 数量 。 

在 计算 机 志 界 里 同样 可 以 通过 增加 计算 机 数量 的 方式 提高 响应 速度 。 

将 宠物 商店 应 用 程序 分 别 部 署 在 两 台 应 用 服务 器 上 ， 而 这 两 台 应 用 服务 器 分 别 在 两 台 虚 
拟 机 上 运行 ， 由 于 服务 器 一 般 有 多 个 CPU， 每 个 CPU 又 有 多 核 ， 所 以 增加 虚拟 机 可 以 充分 
利用 服务 器 上 的 CPU 资源 。 此 外 ， 由 于 虚拟 机 以 文件 的 形式 存在 于 硬盘 上 ， 所 以 可 以 将 虚 
拟 机 直接 复制 到 另 一 台 计 算 机 上 ， 比 如 笔者 的 便携 式 计 算 机 上 。 启 动 虚拟 机 ， 这 样 就 有 两 台 
服务 右 同 时 为 宠物 商店 应 用 提供 服务 。 

当 用 户 发 现 访问 应 用 的 速度 变 慢 了 ， 它 可 以 选择 访问 备用 的 服务 器 。 在 理想 状态 下 两 个 
应 用 服务 器 各 接受 一 半 的 用 户 访 问 ， 相 当 于 减轻 了 应 用 服务 器 的 负担 。 经 过 测试 ， 当 分 别 用 
一 半 的 访问 量 访问 应 用 服务 器 时 (模拟 50 个 客户 同时 访问 ) ， 访 问 速度 得 到 明显 提高 。 笔 
者 的 测试 结果 是 719ms， 如 图 1-13 所 示 。 

这 个 测试 结果 是 一 个 让 人 比较 满意 的 结果 。 但 这 个 解决 方案 带 来 一 个 问题 ， 为 了 提高 访 
问 速 度 ， 用 户 不 得 不 把 所 有 的 服务 器 列表 都 记 下 来 。 用 户 很 有 可 能 因为 不 方便 就 不 访问 我 们 
的 宠物 商店 了 ， 如 何 解决 这 个 问题 呢 ? 
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文件 编辑 运行 选项 帮助 








本 re 
全 E ves Gai Summary Report 
$- ff HTTP Request HTTPClient 名 称 : [Summar Report 
[©] Summary Report 注释 : 
n 所 有 数据 写 入 一 个 文件 
文件 名 [e mM z 浏览 | togDisplay Only: Q RAZA [] Successes Coaspure | 





Label # Samples I Average Min Max | Std.Dev. Eror% | Throughput KB/sec Avg. Bytes ] 
HTTP Reque 50| 096 4.0/sec, 
EE 

















Fd 1-13 ”增加 一 台 应 用 服务 器 后 的 测试 结果 


再 回 到 那个 商店 的 例子 中 ， 在 这 样 的 情况 下 ， 商 店 往往 会 在 前 端 安排 一 个 导购 。 由 导购 
负责 将 客户 带 到 能 满足 客户 需求 的 售货员 那里 。 在 计算 机 世界 中 也 有 这 种 类 似 导 购 的 程序 ， 
它 会 自动 地 将 访问 者 的 请 求 转发 给 相应 的 应 用 服务 器 。 它 们 被 称 为 负载 均衡 器 。 

Tomcat 应 用 服务 器 有 一 个 专门 的 负载 均衡 器 ， 这 些 将 在 2.3.1 15 56 2900] ir TE TÉ SR 











虽然 已 经 拥有 了 一 个 足够 快 的 宠物 商店 应 用 程序 了 ， 但 是 为 了 这 个 商店 ， 我 们 还 需要 两 
£512 MB 的 虚拟 主机 。 


1.3.2 主机 管理 
通过 提高 虚拟 机 性 能 以 及 增加 虚拟 机 的 数量 ， 我 们 成 功 地 提高 了 应 用 程序 的 访问 











速度 











但 与 此 同时 ， 部 署 应 用 程序 所 要 求 的 计算 资源 也 越 来 越 多 了 ,尤其 是 当 访问 量 比较 低 
时 ， 仍 要 使 用 两 台 虚 拟 机 就 显得 有 些 浪费 资源 〈 在 云 计算 环境 里 ， 一 般 按照 使 用 的 计算 资 
源 量 来 收费 ， 多 使 用 虚拟 机 也 就 意味 着 要 花 更 多 的 金钱 ) 。 

如 果 应 用 程序 可 以 在 用 户 访问 量 增 大 时 增加 适当 的 计算 资源 ， 而 在 访问 量 减 少时 ， 释 放 
多 余 的 计算 资源 ， 那 么 就 既 达 到 了 提高 用 户 访 问 速度 的 要 求 ， 又 节约 了 有 限 的 资金 。 

上 面 这 个 需求 可 以 分 为 两 个 方面 : 

e 监控 用 户 访问 量 。 

e 根据 用 户 访问 量 增加 或 者 减少 应 用 服务 器 的 数量 。 

下 面 分 别 解决 这 两 个 问题 。 

1. 监控 用 户 访问 量 

监控 用 户 访问 量 有 很 多 办 法 ， 比 如 设置 网 络 计 数 句 ， 监 控 流 量 。 但 造成 用 户 访问 变 慢 的 
直接 原因 往往 是 主机 内 存 使 用 率 及 CPU 使 用 率 的 上 升 。 针 对 此 情况 ，Java 虚拟 机 提供 了 一 
个 专门 的 监控 工具 JMX。 

JMX (Java Management Extensions, ， 即 Java 管理 扩展 ) 是 一 个 为 应 用 程序 、 设 备 、 系 统 
等 植 人 管理 功能 的 框架 。JMX 可 以 跨越 一 系列 异 构 操作 系统 平台 、 系 统 体系 结构 和 网 络 传 
输 协议 ， 灵 活 地 开发 无 颖 集成 的 系统 、 网 络 和 服务 管理 应 用 。 

Java 虚拟 机 本 身 就 内 建 了 一 些 JMX 管理 模块 ， 可 以 监控 内 存 以 及 CPU 的 使 用 情况 。 

由 于 Tomcat 本 身 使 用 Java 语言 实现 ， 所 以 通过 监控 Java 虚拟 机 ， 可 以 达到 监控 Tomcat 
的 目的 。 
另外 ，Java 开发 工具 中 的 JConsole 提供 了 图 形 化 的 监控 页 面 。 






































云 计 算 : 应 用 开发 实践 


(1) 配置 Tomcat 启动 脚本 

在 Tomcat 安装 目录 中 找到 catalina. bat 文件 , 这 是 一 个 Windows 脚本 。 用 来 启动 Tomcat 
应 用 服务 天 。 

在 : doRun fü; doStan 方法 后 面 ， 加 入 JMX 设置 选项 ， 代 码 如 下 : 





Set JAVA, OPTS = % JAVA. OPTS90 

— Dcom. sun. management. jmxremote 

— Dcom. sun. management. jmxremote. port = " 9004" 

— Dcom. sun. management. jmxremote. authenticate = " false" 


— Dcom. sun. management. jmxremote. ssl = " false" 





上 面 的 设置 表明 ，JMX 管理 服务 端口 是 9004 Uil] JMX 服务 不 需要 认证 (为 了 便于 演 
示 )。 

(2) 通过 JConsole 观察 Tomcat 中 资源 的 使 用 状况 

在 Windows 命令 行 提 示 符 里 输入 “jeonsole” 后 按 〈Enter》 键 ， 将 呈现 如 图 1-14 所 示 
的 JConsole 配置 页 面 。 


JE CAWindows\system32\cmd gg J25E 5.0 tois EE een 
- = 


icro 














C: NJsers\skaterhome >jcol 

















gp JConsole : 连接 到 代理 26 
本 地 | 远程 | 高 级 | 
| 主机 名 或 p: [192.168.46.128 
| 0O: [3004 
用 户 名 : 
口令 : 
goto execCmd 
bau 连接 || 取消 
set JàVà OPTS - = 
shift 
if not ""si"" 


























图 1-14  JConsole 配置 页 面 











输入 Tomcat 应 用 服务 器 所 在 的 虚拟 机 IP 地 址 192. 168. 48. 128， 在 JMX 服务 端口 9004 
单 击 “ 连 接 ” 按 钮 ， 将 展示 Tomcat 应 用 服务 器 所 在 虚拟 机 的 运行 情况 ， 如 图 1-15 所 示 。 

在 图 1-15 中 可 以 看 到 线程 、 内 存 Java 类 以 及 操作 系统 的 相关 情况 。 

现在 再 次 用 JMeter 模拟 100 个 用 户 同 时 访问 宠物 商店 ， 同 时 使 用 JConsole 观测 Tomcat 
内 存 使 用 情况 , 如 图 1-16 所 示 。 

在 图 1-16 中 可 以 看 到 ， 内 存 的 使 用 有 明显 增长 。 这 也 证 明了 内 存 的 使 用 率 与 所 访问 的 
用 户 量 是 有 因果 关系 的 ， 我 们 可 以 通过 监控 对 内 存 的 使 用 来 判断 是 否 应 该 增加 新 的 应 用 服 
务 器 。 
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[dp 12E 50 EN 192168481289004 70 T EE v. 
连接 
| 摘要 | 内 存 | 线程 | 类 | MBean | vM | 
| 摘要 
正常 运行 时 间 : 3 hows 11 minutes 处 理 CPU 时 间 : 1 minute 
编译 总 时 间 : 22513» 
线程 
活动 线程 : 。 103 ig: 10 
守护 线程 : 102 已 启动 的 总 数 : 。 103 
内 在 
当前 堆 大 小 : 14, 151 Kb 分 配 的 内 存 : 24,816 Kb 
堆 大 小 的 最 大 值 : 65, 088 Kb 
等 待 终结 的 对 象 : 0 
垃圾 收集 器 : Name = Copy, Collections = 604, Total time spent = 3.750 $ 
垃圾 收集 器 : ^ad = MarkSweepCorapact, Collections = 4 Total time spent = 20.692 
* 
当前 类 已 装 入 : 4125 已 卸载 类 的 总 数 : 10 
已 装 入 类 的 总 数 : 4 135 
操作 系统 
物理 内 存 总 量 : 523, T60 Kb 可 用 物理 内 存 : 125, 868 Kb 
分 配 的 虚拟 内 存 : 69, 900 Kb 


1-15 Tomcat 应 














j 服 务 器 所 在 虚拟 机 的 运行 情况 








连接 
摘要 





MBean 





(me sr [x 








NH] 
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图 表 : | 堆 内 存 使 用 情况 | 











30 Mb 


25 Mb 十 


20 Mb 十 


15 Mb 





10 Mb 一 


时 间 范 围 : 





























已 必用 
4 24,303,000 





- - : 
1529 15:30 15:31 


详细 信息 


: - + + - 
15:32 15:33 15:34 15:35 15:36 





时 间 : 2011-01-23 15:36:36 
已 使 用 : 23, 733 Kb 
分 配 : 24,816 Kb 
最 大 值 : 65, 088 Kb 
GC 时 间 : Copy (1,041 项 收集 ) 所 用 的 时 间 : 
MarkSweepCompact (8 项 收集 ) 所 用 的 时 间 : 








9.404 种 种 


100% -- 
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50% ~ 


25%- 






































25.306 $b 4b D- 








dg 








m) 








图 1-16 24JH P Uie ES AE ERA 


监控 程序 设计 实现 


过 JConsole 我 们 观察 到 当 用 户 访问 量 激增 时 ， 堆 内 存 的 使 用 迅 


速 上 升 。 现 在 可 以 通过 


JMX 编程 接口 动态 地 得 到 堆 内 存 的 使 用 率 ， 如 代码 清单 1-1 所 示 。 
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云 计 算 : 应 用 开发 实践 
【代码 清单 1-1]】 


package com. skater. cloud; 


import javax. management. MBeanServerConnection ; 

import javax. management. ObjectName ; 

import javax. management. openmbean. CompositeDataSupport ; 
import javax. management. remote. JMXConnectorFactory ; 


import javax. management. remote. JMXServiceURL ; 
publie class JUXClient | 


public JMXClient( ) | 


super( ) ; 
| 


public static void main( String[ ] args) throws Exception | 
String urlFor]MX = "service :jmx :rmi:///jndi/rmi ;//192. 168. 48. 128 :9004/ jmxrmi" ; 


MBeanServerConnection jmxServerConnection = JMXConnectorFactory 
. connect( new JMXServiceURL( urlForJMX ) , null) 


. getMBeanServerConnection( ) ; 


try | 
String| ] domains = jmxServerConnection. getDomains( ) ; 


for ( String domain ; domains) | 


System. out. printIn( domain) ; 


ObjectName memory = new ObjectName( " java. lang:type = Memory" ) ; 
CompositeDataSupport comp = ( CompositeDataSupport ) jmxServerConnection. getAttribute 


( memory, " HeapMemoryUsage" ) ; 


double max = (Long) comp. get( " max" ) ; 
double used = (Long)comp. get( " used" ) ; 
System. out. println( used/ max) ; 

| catch ( Exception ex) | 
ex. printStackTrace( ) ; 


通过 这 个 程序 可 以 得 到 堆 内 存 的 使 用 率 。 

(1) 根据 用 户 访问 量 ， 增 加 或 者 减少 应 用 服务 器 的 数量 
通过 上 面 的 程序 ， 可 以 实时 得 到 内 存 使 用 率 。 下 面 ， 将 通过 编写 程序 来 实现 增加 或 减少 
虚拟 机 ， 以 达到 控制 应 用 服务 器 数量 的 目的 。 

VMware Server 提供 了 一 套 VMware VIX 编程 接口 及 相应 的 命令 行程 序 操作 ， 供 开发 人 员 
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编写 程序 使 用 。VIX 编程 接口 现在 支持 Perl 和 COM 语言 。 暂 时 没有 直接 针对 Java 编程 语言 
的 编程 接口 ， 但 这 并 不 妨碍 我 们 使 用 Java 语言 来 实现 控制 虚拟 机 的 数量 。 我 们 可 以 使 用 Ja- 


ky RU 
给 出 启动 以 及 关闭 虚拟 机 的 命令 。 


RS 如 下 。 


vmrun — T server -u < User Name > -p XXX -h https;//127. 0. 0. 1:8333/sdk start " [ vmware- 





datastore] winxp/Windows XP Professional. vmx" 


关闭 虚拟 机 的 命令 如 下 。 


vmrun — T server -u < User Name > -p XXX -h https;//127. 0. 0. 1:8333/sdk stop " [ vmware- 


datastore] winxp/Windows XP Professional. vmx" 
现在 可 以 通过 Java 语言 实现 启动 与 关闭 虚拟 机 的 操作 ， 如 代码 清单 1-2 所 示 。 
【代码 清单 1-2]】 








package com. skater. cloud. util; 


// 操 作 虚 拟 机 


publie class OperateVM | 
publie void startVM (String userName, String passwd, String url, String dataStore ,String path, String 


VMName) | 
ExecuteCommand. execute(" vmrun — T server -u 


+ " start V" [ " + dataStore + 





" c userName +" -p " 4 passwd +" —h" url 


"J" path +"/" + VMName +"\""); 





} 
public void stopVM ( String userName, String passwd, String url, String dataStore , String path, String 
VMName) | 


ExecuteCommand. execute( "vmrun — T server — u" + userName 


* "stop V' [ " + dataStore +" ] " + path - "/" + VMName +" V'"); 


E" — p" 4 passwd +" — h" +url 








| 


package com. skater. cloud. util ; 


import java. io. BufferedReader; 
import java. io. InputStreamReader ; 
// 执 行 命令 行 


public class ExecuteCommand | 


public static void execute( String cmd) | 


try | 
Runtime rt = Runtime. getRuntime( ) ; 


Process pr = rt. exec( cmd) ; 
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云 计 算 : 应 用 开发 实践 


BufferedReader input = new BufferedReader( new InputStreamReader( pr 
. getInputStream( ) ) ) ; 
String line = null; 
while ( (line = input. readLine()) ! = null) | 
System. out. println( line) ; 

| 

int exitVal = pr. waitFor( ) ; 

System. out. println( " Exited with error code " + exitVal) ; 
} catch (Exception e) | 

System. out. println( e. toString( ) ) ; 
e. printStackTrace( ) ; 


| 


| 


(2) 集成 监控 与 虚拟 机 操作 代码 

现在 可 以 把 监控 代码 与 虚拟 机 操作 代码 集成 在 一 起 ， 做 一 个 虚拟 机 调度 器 ， 如 代码 清单 
1-3 所 示 。 

【代码 清单 1-3]】 


package com. skater. cloud; 


import com. skater. cloud. util. OperateVM; 
// 虚 拟 机 调度 器 
public class VMScheduler | 
public static void main( String args[ ] ) | 
while (true) | 
double memoryUsage =0; 


try | 
memoryUsage = JMXClient. getMemoryUsage( ) ; 


// fifi 5 min 查看 一 次 内 存 使 用 情况 
Thread. sleep(5 * 60 * 1000) ; 
} catch (InterruptedException e) | 








e. printStackTrace( ) ; 
} 
if( memoryUsage » 0. 5) | 
OperateV M. startVM ( " skaterhome" , " xxx" , " https;//127. 0. 0. 1:8333/sdk" , " vm- 
waredatastore" , " winxp" , " Windows XP Professional. vmx" ) ; 
| else] 
OperateV M. stopVM( " skaterhome" , " xxx" , " https;//127. 0. 0. 1: 8333/sdk" , " vm- 


waredatastore" , " winxp" , " Windows XP Professional. vmx" ) ; 
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|1.4 难道 这 就 是 云 计算 ? 


通过 上 面 的 介绍 ， 我 们 已 经 完整 地 搭建 了 一 个 可 以 根据 应 用 程序 负载 而 动态 扩展 或 收缩 
的 宠物 商店 应 用 程序 。 
读者 可 能 会 问 难 道 这 就 是 云 计算 ? 答案 是 肯定 的 ， 但 这 个 例子 并 不 是 云 计算 的 全 部 。 
下 面 ， 看 看 云 计算 都 有 哪些 定义 。 
(1) Google 公司 对 云 计算 的 解释 


From an engineering perspecitve the cloud is a computing architecture characterized by a large 





























number of interconnected identical computing devices that can scale on demand and that communi- 
cate via an IP network. From a business perspective it is computing services that are scalable and 
billed on a usage basis. 

按照 Google 研究 员 Pat Stingley 的 说 法 ， 他 认为 从 工程 师 的 角度 而 言 ， 云 计算 是 一 种 以 
按 需 、 可 扩展 的 方式 获得 所 需 资源 的 架构 。 从 商业 的 角度 看 ， 这 是 一 种 按 需 付费 的 服务 
5s 

(2) Baidu 百科 上 对 云 计算 的 解释 

云 计算 概念 是 由 Google 公司 提出 的 ， 这 是 一 个 美丽 的 网 络 应 用 模式 。 狭 义 云 计算 是 指 
IT 基础 设施 的 交付 和 使 用 模式 ， 指 通过 网 络 以 按 需 、 易 扩展 的 方式 获得 所 需 的 资源 ; 广义 
云 计算 是 指 服务 的 交付 和 使 用 模式 ， 指 通过 网 络 以 按 需 、 易 扩展 的 方式 获得 所 需 的 服务 。 这 
里 的 服务 可 以 是 IT 和 软件 、 互 联网 相关 的 ， 也 可 以 是 任意 其 他 的 服务 ， 它 具有 超大 规模 、 
虚拟 化 、 可 靠 安全 等 独特 功效 。 

(3) 维基 百科 上 对 云 计算 的 解释 

云端 计算 (XX. Cloud computing， 国 内 译作 云 计算 ) ， 是 一 种 基于 互联 网 的 计算 方式 ， 
通过 这 种 方式 ， 共 享 的 软 硬 件 资源 和 信息 可 以 按 需 提供 给 计算 机 和 其 他 设备 。 整 个 运行 方式 
很 像 电网 。 

从 以 上 解释 不 难看 出 ， 按 需 分 配 资源 ， 根 据 得 到 的 计算 资源 付费 是 云 计算 的 核心 内 容 。 

而 宠物 商店 应 用 随 着 我 们 不 断 深入 的 测试 ， 根 据 逐 步 增长 的 需求 ， 对 资源 进行 了 合理 的 
按 需 分 配 ， 符 合 云 计算 的 定义 ， 所 以 它 属 于 一 个 云 计算 应 用 。 


1.4.1 什么 是 云 计 算 


通过 宠物 商店 的 例子 ， 有 读者 可 能 会 认为 云 计算 应 用 必须 使 用 虚拟 化 技术 。 

那么 只 有 一 台 计 算 机 ， 没 有 使 用 虚拟 化 技术 ， 没 有 连接 网 络 ， 能 不 能 称 之 为 云 计 算 ? 

不 妨 提 几 个 假设 ; 

(1) 云 计算 只 能 使 用 虚拟 化 技术 进行 计算 

假设 云 计算 只 能 使 用 虚拟 化 技术 进行 计算 ,那么 是 不 是 说 现在 所 有 的 云 计算 都 使 用 了 虚 
拟 化 技术 ? 比如 Google 公司 的 云 计算 系统 ， 微 软 公司 的 云 计 算 系 统 或 者 任何 人 的 什么 云 计 
算 系统 ?可 惜 我 们 拿 不 到 确切 的 数据 说 明 它们 是 否 都 使 用 了 虚拟 化 技术 。 我 们 不 妨 再 看 看 搜 
索 到 的 云 计算 的 定义 ， 它 强调 的 是 资源 的 管理 与 利用 ， 并 没有 提 到 虚拟 化 技术 ， 如 果 虚 拟 化 
技术 是 云 计算 不 可 缺少 的 一 部 分 ,那么 就 应 该 在 定义 的 时 候 有 明确 说 明 。 事 实 上 ， 提 高 计算 
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资源 利用 率 与 管理 的 方式 ， 不 止 虚拟 化 技术 一 种 。 使 用 网 格 技术 同样 可 以 提高 单 台 计算 机 的 
使 用 效率 。 第 一 个 假设 不 成 立 。 

(2) 云 计算 只 能 利用 网 络 资源 进行 计算 

前 面 查 到 的 现 有 定义 中 ， 确 实 有 说 这 是 一 种 网 络 应 用 模式 。 

现在 假设 云 计算 只 能 利用 网 络 资源 进行 计算 , 一旦 失去 网 络 就 失去 了 连接 云 计算 的 能 
力 ， 那 么 云 的 致命 弱点 就 在 于 网 络 连接 。 而 网 络 连接 被 破坏 ， 或 不 正常 是 一 种 常见 的 现象 。 

难道 在 失去 网 络 的 情况 下 ,使 用 云 计算 的 客户 就 只 有 等 待 网 络 恢复 ， 而 没有 任何 方法 继 
续 他 们 的 工作 么 ? 

笔者 认为 ， 即 使 是 跟 网 络 紧密 相关 的 应 用 ， 比 如 网 站 或 者 数据 位 于 网 络 中 的 应 用 ， 在 失 
去 网 络 连接 的 时 候 ， 也 应 该 有 备份 的 解决 方案 ， 比 如 多 路 电话 系统 。 而 像 模拟 计算 、 数 值 分 
析 ， 以 及 数据 在 本 地 有 备份 的 应 用 ， 当 失去 网 络 连接 之 后 ， 云 系统 更 应 该 能 正常 工作 ， 依 然 
可 以 利用 本 地 计算 机 或 者 本 地 现 有 的 资源 进行 计算 。 在 这 样 的 情况 下 ， 就 更 有 必要 充分 利用 
本 地 资源 ， 而 云 计算 中 的 某 些 技术 提供 了 很 好 的 解决 方案 。 因 此 第 二 个 假设 同样 不 成 立 
(证 明 第 一 个 假设 与 第 二 个 假设 不 成 立 的 最 好 方法 是 ,使 用 非 虚拟 机 的 云 计算 技术 提高 本 地 
程序 的 工作 效率 ， 参见 本 书 第 8 章 的 应 用 ， 将 使 用 网 格 计算 技术 提高 本 地 Excel 的 工作 效 
率 ) 。 

如 果 各 位 读者 持 前 面 假设 的 观点 ， 也 不 是 一 件 坏事 ， 因 为 云 计算 确实 可 以 极 大 地 利用 网 
络 资源 ， 而 虚拟 化 技术 也 确实 是 一 种 高 效 且 简单 的 管理 与 利用 计算 资源 的 有 效 方式 。 笔 者 想 
说 明 的 是 ， 利 用 网 络 资源 或 使 用 虚拟 化 技术 并 不 是 云 计算 的 全 部 。 云 计算 的 核心 在 于 资源 的 
管理 与 利用 。 

虚拟 化 技术 以 及 网 络 资源 为 云 计算 提供 了 相应 的 技术 和 资源 支持 ,但 不 使 用 它们 一 样 可 
以 建立 云 计算 环境 。 比 如 可 以 不 使 用 虚拟 机 ， 而 将 应 用 部 署 到 物理 机 环境 中 ， 使 用 其 他 云 计 
算 技 术 充 分 利用 CPU 每 个 核心 ， 同 样 可 以 提高 宠物 商店 的 响应 速度 。 而 使 用 虚拟 化 技术 和 
网 络 资源 只 是 备 选 方案 。 

下 面 ， 看 看 云 计算 框架 的 组 成 和 相关 的 技术 。 

1.4.2 云 计算 架构 简介 

云 计 算 中 有 几 个 关键 的 名 词 ， 基 础 设施 即 服务 (IaaS) ， 平 台 即 服务 (PaaS), ， 软 件 即 
服务 (SaaS) ， 资 源 供应 (Provisioning) ， 资 源 安 全 (Security) 。 

很 多 资料 把 XaaS 解释 为 “X 即 服务 "， 笔 者 觉得 译 为 “X 作为 服务 ”可 能 更 易于 理解， 
因为 软件 、 平 台 或 者 基础 设施 本 来 并 不 是 服务 ， 只 有 经 过 一 定 改造 ， 它 们 才 会 成 为 一 种 能 为 
多 人 使 用 的 服务 。 

(1) 基础 设施 即 服务 (IaaS) 

在 云 计算 体系 中 ，IaaS 处 于 最 底部 。 主 要 指 的 是 硬件 设备 ， 比 如 计算 机 、 交 换 机 、 路 由 
器 、 防 火 墙 、 机 架 、 因 特 网 、 局 域 网 、 存 储 设备 。 主 要 用 到 的 技术 包括 虚拟 主机 技术 ， 操 作 
系统 以 及 各 种 硬件 管理 技术 。 在 宠物 商店 的 例子 里 ， 通 过 安装 虚拟 化 软件 具有 了 提供 虚拟 主 
机 的 能 力 ， 相 当 于 创建 了 一 个 简单 的 可 以 提供 硬件 服务 的 系统 。 

(2) 平台 即 服务 (PaaS) 

平台 即 服 务 ( PaaS) 处 于 基础 设施 即 服务 (IaaS) 的 上 层 。 主 要 指 的 是 网 格 计算 软件 、 
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并 行 计 算 软 件 、 负 载 均衡 软件 和 数据 库 等 仍 需要 在 原 有 基础 上 进行 开发 才能 使 用 的 资源 。 在 
宠物 商店 的 例子 里 ， 安 装 在 虚拟 机 的 操作 系统 和 Tomcat 服务 器 就 相当 于 用 户 开 发 平台 ， 在 
这 个 平台 上 我 们 可 以 部 署 各 种 应 用 程序 。 

(3) 软件 即 服 务 (SaaS) 

软件 即 服务 (SaaS) 处 在 最 高 层 ， 这 样 的 软件 不 需要 用 户 做 过 多 开发 就 能 直接 使 用 ， 
比如 博客 管理 系统 、 内 容 管理 系统 、 企 业 资 源 计 划 系 统 (ERP) 、 科 学 计算 软件 (比如 Mat- 
lab) ， 办 公 软 件 (Google Doc, MS Office) 等 。 在 宠物 商店 的 例子 里 ， 我 们 将 从 Internet 上 下 
载 的 宠物 商店 应 用 程序 部 署 到 Tomcat 应 用 服务 器 上 供 客 户 直接 使 用 ， 就 相当 于 提供 了 一 个 
软件 服务 。 

事实 上 在 PaaS 与 SaaS 之 前 ， 软 件 行业 曾 提 出 过 类 似 的 概念 ， 称 为 SOA， 即 面向 服务 的 
应 用 ， 笔 者 从 实践 的 角度 认为 它 是 PaaS 5j SaaS 的 结合 体 ， 因 为 当时 开发 SOA 程序 主要 就 是 
使 用 公开 协议 在 某 种 服务 器 上 提供 应 用 服务 供 更 多 的 人 或 其 他 应 用 程序 使 用 ， 而 能 接受 与 解 
释 特 定 协议 的 服务 器 ， 在 云 计算 架构 中 算是 一 种 提供 了 平台 服务 的 PaaS$， 运 行 在 这 种 服务 
器 上 的 供 更 多 人 与 设备 使 用 的 应 用 则 可 视 为 SaaS。 

当然 由 于 在 本 章 中 我 们 提供 的 服务 只 能 为 自己 服务 ， 所 以 只 能 叫做 私有 云 系统 。 另 外 ， 
笔者 认为 上 面 的 三 层 在 真实 的 云 计算 环境 中 是 可 以 独立 存在 的 ， 我 们 可 以 逐 层 搭建 云 系 统 ， 
但 如 果 只 搭建 其 中 的 一 层 或 几 层 ， 只 要 它 可 以 满足 按 需 分 配 资源 的 要 求 ， 仍 然 可 以 说 它 是 一 
种 云 计算 化 的 系统 。 可 能 有 些 读者 不 这 么 认为 ,但 笔者 认为 ， 在 真实 的 应 用 环境 中 很 难 全 面 
部 署 一 个 纯粹 的 云 系统 ， 我 国 从 20 世纪 80 年 代 开始 建设 信息 系统 ,今天 大 部 分 的 企业 、 组 
织 以 及 政府 已 经 部 署 了 很 多 成 熟 的 信息 系统 ， 它 们 被 部 署 在 多 种 多 样 的 硬件 以 及 软件 平台 
上 ， 想 要 引入 云 计算 不 可 能 一 蹊 而 就 。 需 要 根据 现 有 系统 的 架构 、 分 析 用 户 最 迫切 需要 解决 
的 问题 ， 然 后 寻找 可 能 的 解决 方案 。 没 有 适合 所 有 用 户 情况 的 万 能 解决 方案 ， 云 计算 也 是 
样 ， 但 是 云 计算 中 的 很 多 技术 和 解决 方案 确实 可 以 帮助 人 们 解决 很 多 现实 问题 。 

除了 上 述 三 个 云 计算 层次 外 ， 还 有 两 个 名 词 ， 可 能 各 位 读者 不 太 熟 悉 ， 它 们 是 资源 供应 
(Provisioning) 和 资源 安全 (Security) 。 

(4) 资源 供应 

资源 供应 主要 解决 如 何 部 署 ， 相 信 通 过 第 1 章 的 介绍 ， 读 者 已 经 感觉 到 搭建 一 个 按 需 分 
配 资源 的 应 用 需要 花 多 少 功夫 ， 可 能 有 的 读者 会 想 “ 假 如 在 实际 应 用 中 ， 按 照 这 种 办 法 解 
决 资源 不 足 的 问题 ， 也 许 一 两 个 应 用 我 还 能 解决 得 了 ,但 问题 是 我 们 单位 不 止 一 个 应 用 ， 而 
且 还 运行 在 不 同 的 操作 系统 上 ， 如 果真 这 么 解决 ， 以 后 的 维护 还 有 部 署 问题 就 变 得 更 复 
杂 ”。 这 样 的 考虑 绝对 是 正确 的 ， 所 以 在 云 计 算 中 专门 提出 Provisioning 这 个 主题 ， 它 强调 的 
就 是 怎么 部 署 ， 如 何 根据 应 用 的 要 求 提 供 不 同 的 运行 环境 ， 并 自动 地 将 应 用 部 署 在 所 需要 的 
环境 里 。 常 用 的 技术 有 虚拟 化 技术 、 主 机 自动 化 安装 技术 和 软件 自动 化 安装 技术 。 

(5) 资源 安全 

资源 安全 (Security) ， 这 个 问题 相信 经 历 过 病毒 破坏 、 账 号 被 盗 的 读者 应 该 有 深刻 体 
会 。 资 源 安 全 在 云 计算 中 同样 重要 ， 针 对 云 计 算 中 的 不 同 服务 层次 ， 需 要 逐 级 建立 相应 的 认 
证 及 授权 系统 、 日 志 监 控 系 统 、 防 火 墙 、 杀 毒 系统 等 。 但 笔者 认为 目前 并 不 存在 专门 为 云 计 
算 而 创建 的 特有 的 资源 安全 技术 ， 组 成 云 计 算 的 各 种 技术 一 般 都 会 配置 相应 的 安全 技术 。 如 
果真 要 说 有 专门 的 云 安全 技术 ， 笔 者 认为 主要 有 两 种 情况 ， 第 一 种 是 如 何 针对 某 个 特定 的 云 
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计算 应 用 ， 将 各 个 云 计 算 模 块 间 的 安全 整合 到 一 起 ， 在 满足 安全 的 前 提 下 还 能 方便 工作 ; 第 
二 种 是 针对 数据 ， 在 云 计 算 中 ， 我 们 可 能 既 要 使 用 公共 云 又 要 使 用 私有 云 ， 对 于 存储 在 公共 
云 上 的 数据 ， 也 需要 一 定 的 审核 ， 确 保 其 在 泄露 后 ， 不 会 造成 损失 的 才 可 以 存储 在 公共 云 
上 ， 特 殊 数 据 需要 与 公共 云 提供 商 签订 服务 协议 。 在 本 书 中 ， 关 于 云 资 源 安全 将 结合 应 用 来 
说 明 。 

关于 云 计算 架构 ， 笔 者 是 根据 自己 的 工作 经 验 与 体会 得 到 的 ， 欢 迎 各 位 读者 的 批评 
指正 。 

笔者 的 观点 可 以 总 结 为 如 图 1-17 所 示 的 云 计算 架构 。 














SaaS 

博客 管理 系统 、 内 容 管理 系统 、 企 业 资 源 计 划 系 统 (ERP)、 科 学 计算 软件 

(比如 Matlab)， 办 公 软 件 (Google Doc, MS Office)， 腾 讯 WebQQ, 内 容 管 
理 系统 ， 论 坛 管理 系统 等 











PaaS 


网 格 计算 软件 ， 并 行 计算 软件 ， 负 载 均 衡 软 件 ， 数 据 库 ，Google App 
Engine，MS Azure, WebService 等 
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IaaS 
虚拟 化 技术 ， 操 作 系 统 ， 虚 拟 机 及 物理 机 管理 技术 ， 存 储 设 备 ， 网 络 设备 等 








图 1-17 云 计 算 架 构 


从 使 用 的 角度 来 看 ， 最 终 使 用 者 主要 使 用 SaaS 上 面 的 应 用 ， 开 发 人 员 需 要 使 用 Paas 与 
SaaS 提供 的 相关 资源 来 创建 应 用 ， 而 系统 、 网 络 管理 员 主 要 关心 laas 与 Paas 的 搭建 。 

综 上 所 述 ， 我 们 会 发 现 云 计算 大 量 地 使 用 了 现 有 的 计算 机 技术 ， 在 现 有 技术 的 基础 上 ， 
它 将 这 些 技术 紧密 整合 到 了 一 起 以 达到 按 需 分 配 的 目的 。 想 象 一 下 在 一 个 拥有 上 千 人 台 计 算 机 
的 组 织 ( 比如 学 校 、 公 司 、 政 府 、 科 研 机 构 、 电 信 运 营 商 ) 里 ， 如 果 可 以 将 这 些 计 算 资 源 
有 机 地 组 织 在 一 起 ,合理 调度 应 用 程序 ， 无 疑 将 为 该 组 织 提供 强 有 力 的 计算 能 力 ， 相 当 于 建 
立 了 一 个 超级 计算 机 ， 而 这 台 超 级 计算 机 还 可 以 通过 不 断 加 入 新 的 计算 资源 而 变 得 更 加 强 
大 。 如 此 强大 的 计算 资源 可 以 为 本 单位 的 业务 提供 强 有 力 的 支撑 ， 或 者 将 部 分 服务 销售 给 他 
人 。 这 也 是 云 计算 的 魅力 所 在 。 


1.4.8 云 计 算 的 起 源 与 发 展 


从 上 一 节 的 描述 中 可 以 看 出 ， 云 计算 确实 是 一 个 庞大 的 系统 ， 但 在 这 个 系统 中 我 们 可 以 
看 到 很 多 熟悉 的 技术 和 概念 。 为 什么 还 要 设计 这 样 一 个 复杂 的 系统 呢 ? 

一 般 来 说 ， 大 家 认为 云 计算 是 Google 公司 提出 的 。Google 为 什么 会 提出 云 计算 ? 我 们 
来 分 析 一 下 Google 公司 的 业务 。 首 先 它 提供 的 主要 产品 是 搜索 ， 而 搜索 是 在 一 个 浏览 名 里 
执行 的 ， 这 就 需要 解决 用 户 访问 速度 的 问题 ， 通 过 宠物 商店 的 例子 我 们 知道 有 两 种 方法 可 以 
达到 这 一 点 ， 即 增强 主机 性 能 以 及 添加 更 多 的 服务 器 。Google 面临 合理 分 配 资源 的 需求 ， 而 
作为 一 个 不 断 发 展 的 公司 ， 除 了 搜索 业务 ，Google 还 提供 了 更 多 的 业务 比如 Google Earth, 
Google 邮箱 Google 文档 等 ， 这 些 产品 的 更 新 与 部 署 同样 需要 大 量 的 人 力 物 力 ， 资 源 供应 
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(Provisioning) 就 显得 必 不 可 少 ， 而 资源 安全 对 于 一 个 需要 用 户 付 费 来 赢利 的 公司 来 说 更 是 
不 可 或 缺 。 最 终 Google 的 工程 师 们 把 自己 的 这 套 系统 整理 出 来 称 它 为 云 系统 。 

概念 是 Google 公司 提出 的 ， 但 Google 所 面临 的 这 些 问 题 事 实 上 很 多 公司 都 碰 到 了 并 提 
出 了 自己 的 解决 方案 。 比 如 自动 化 的 主机 安装 ，IBM 公司 很 早 就 有 xcat 主机 部 署 软件 ，Intel 
公司 有 PXE 网 络 安装 服务 器 。 针 对 大 数据 量 及 大 并 发 量 操作 ， 很 早 就 有 LSF 这 样 的 分 布 式 
处 理 软件 ， 各 种 应 用 服务 需 也 都 有 自己 的 负载 均衡 软件 ，Oracle 公司 也 将 它 的 数据 库 实现 为 
分 布 式 处 理 系 统 等 。 

正 是 由 于 可 以 踩 在 这 些 巨人 们 肩 上 ， 现 在 的 云 计算 系统 将 成 为 各 种 技术 的 集大成 者 ， 并 
为 提供 更 好 的 计算 环境 做 出 贡献 。 


|! 5 小 结 


通过 这 一 章 的 介绍 ， 我 们 成 功 地 部 署 了 一 个 Java 宠物 商店 ， 并 将 它 逐 步 部 署 到 云 计 算 
环境 里 ， 成 为 一 个 真正 的 云 应 用 。 和 希望 通过 这 一 章 的 介绍 能 使 读 考 们 对 云 计算 有 一 个 初步 认 
识 ， 但 这 只 是 云 计算 技术 的 冰山 一 角 。 云 计算 就 像 是 机 器 猫 的 口袋 一 样 ， 包 含 了 太 多 新 奇 有 
趣 的 技术 ， 笔 者 将 与 各 位 读者 一 起 探索 “机 融 猫 口袋 里 的 秘密 ”。 
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古人 云 “ 不 积 娃 步 ， 无 以 至 千里 ; 不 积 小 流 ， 无 以 成 江海 ”"。 云 计算 本 身 就 是 由 很 多 相 
关 的 技术 组 成 的 ， 所 以 学 习 创 建 云 应 用 程序 ， 首 先 得 先 了 解 云 计算 所 涉及 的 各 种 技术 。 而 第 
一 步 就 是 配置 计算 资源 ， 选 择 合适 的 操作 系统 进行 相应 的 系统 配置 。 在 云 计算 中 提出 了 IaaS 
的 概念 ， 它 强调 资源 的 使 用 应 该 是 有 组 织 的 ， 并 且 能 通过 某 种 方式 按 需 提供 服务 ， 方 便 更 多 
人 使 用 。 

在 介绍 IaaS 的 相关 技术 及 产品 之 前 ， 让 我 们 先 来 考虑 一 个 场景 。 某 家 企业 ， 现 有 几 百 
名 员工 ， 还 有 十 几 台 计算 机 服务 器 以 及 相应 的 硬件 设施 。 该 企业 在 新 的 一 年 里 资金 有 限 ， 很 
难 采 购 新 的 服务 器 设备 ， 然 而 业务 需求 对 计算 资源 的 要 求 却 在 增长 。 经 过 调查 ， 维 护 人 员 
发 现 : 

1) 公司 虽然 计算 资源 很 多 ， 但 是 计算 机 的 利用 效率 并 不 高 ， 很 多 机 器 虽然 分 给 了 相应 
的 部 门 ， 但 每 个 部 门 对 计算 机 的 使 用 情况 不 同 ， 结 果 有 的 部 门 资源 大 量 闲置 ， 有 些 却 不 
够 用 。 

2) 大 部 分 员工 的 计算 机 晚上 并 不 关闭 ， 如 果 能 合理 利用 ， 既 不 用 多 花 钱 去 购买 设备 ， 
又 避免 了 电力 的 浪费 。 

针对 以 上 情况 ， 维 护 人 员 考 虑 : 

e 将 对 计算 资源 要 求 较 小 的 应 用 程序 合并 到 同一 台 计 算 机 处 理 。 

e 将 员工 的 计算 机 纳入 到 非 关键 应 用 程序 计算 资源 中 。 

e 监控 所 有 计算 资源 的 使 用 情况 ， 并 根据 实际 需要 分 配 计算 资源 〈 比如 那些 不 需 随时 使 
用 的 应 用 ) 。 
但 是 问题 也 随 之 产生 ， 每 个 部 门 都 希望 自己 的 运行 环境 独立 于 其 他 部 门 的 运行 环境 ， 而 
且 员 工 也 不 希望 改变 现 有 的 运行 环境 。 云 计算 中 IaaS 层 中 的 技术 主要 就 是 来 解决 此 类 问题 
的 。 在 本 章 我 们 将 逐个 介绍 laas 所 用 到 的 TT 资源 管理 技术 ， 并 给 出 最 终 解 决 方案 。 本 章 尽 
TEL BUR K IaaS 相关 技术 ， 对 于 某 些 技 术 ， 比 如 虚拟 化 ， 介 绍 了 相关 的 几 个 虚拟 化 产品 ， 
读者 可 以 根据 自己 的 实际 情况 挑选 自己 感 兴趣 的 内 容 进行 阅读 与 实践 。 
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|2.1 虚拟 化 技术 


通俗 地 说 ， 在 一 个 计算 机 上 创建 的 男 一 个 计算 机 称 为 虚拟 机 ， 这 种 创建 虚拟 机 的 技术 就 
是 虚拟 化 技术 。 

虚拟 化 技术 最 早出 现在 1960 年 ， 当 时 IBM 为 了 提高 大 型 机 的 硬件 使 用 效率 ， 而 开发 了 
一 套 对 硬件 分 区 的 系统 ， 利 用 该 系统 可 在 大 型 机 上 虚拟 出 多 台 计 算 机 。 然 而 从 1960 年 到 
2000 年 的 40 年 时 间 里 ， 并 没有 推出 过 针对 个 人 计算 机 x86 处 理 器 的 计算 机 虚拟 化 产品 ,但 
毕业 于 MIT. ( 麻 省 理工 学 院 ) 的 Diane Greene 女士 敏锐 地 发 现在 x86 系统 上 ， 同 样 存在 计算 
机 使 用 效率 过 低 的 问题 。 所 以 Diane Greene 女士 和 她 的 同伴 们 专注 于 利用 在 操作 系统 里 同时 
运行 多 个 操作 系统 ， 以 提高 计算 机 利用 率 ， 并 创立 了 VMware (RE) 公司 ， 从 此 虚拟 化 技 
术 进 入 了 个 人 用 户 的 视野 中 。 

在 Diane Greene 女士 与 她 的 合伙 人 在 开发 虚拟 化 技术 的 同时 ,来 自 剑 桥 大 学 的 研究 者 们 
开始 了 在 BSD UNIX 以 及 Linux 系统 上 开发 虚拟 化 技术 的 项 目 。 这 个 项 目 就 是 后 来 大 名 易 易 
的 Xen。 由 于 Xen 是 开源 项 目 ， 很 多 开发 人 员 对 它 进行 了 改造 与 创新 ， 它 也 成 为 了 现在 
Linux 系统 中 的 默认 虚拟 化 技术 。 

随 着 虚拟 化 技术 的 盛行 ， 越 来 越 多 的 组 织 和 开发 人 员 意 识 到 虚拟 化 技术 对 提高 计算 机 使 
用 效率 的 方便 性 和 重要 性 。 微 软 在 2008 年 推出 了 与 Windows 操作 系统 内 核 绑 定 的 Hyper - V 
虚拟 化 软件 ， 而 Linux 社区 在 汲取 了 Xen 虚拟 化 技术 后 逐步 推出 了 与 Linux 内 核 绑 定 的 KVM 
(Kernel - based Virtual Machine) 虚拟 化 软件 。 
通过 以 上 描述 ， 可 见 目 前 有 众多 虚拟 化 软件 可 以 选择 。 有 选择 当然 是 好 事 ， 但 问题 是 如 
何 选择 ? 对 于 想 要 通过 虚拟 机 技术 来 提高 计算 机 利用 率 的 个 人 用 户 来 说 ， 也 许 第 1 章 提 到 的 
免费 的 VMware Server 就 可 以 解决 问题 。 而 对 于 数据 中 心 云 系 统 的 建设 人 员 来 说 ， 他 们 选择 
的 虚拟 化 软件 将 在 大 规模 的 数据 中 心 使 用 ， 他 们 做 出 的 决定 也 往往 对 所 在 组 织 今 后 的 开设 
施 投资 以 及 技术 架构 产生 重大 意义 。 所 以 选择 时 就 得 更 加 小 心 谨慎 ,深入 了 解 虚 拟 化 技术 的 
特性 以 及 各 虚拟 化 产品 间 的 优 缺 点 是 必 不 可 少 的 。 

这 里 需要 注意 尽管 很 多 云 环 境 的 构建 都 采用 了 虚拟 化 技术 ， 但 虚拟 化 并 不 等 同 于 云 计 
算 。 云 计算 常常 需要 对 大 规模 的 资源 进行 集成 与 调配 ， 它 需要 经 常 使 用 虚拟 化 技术 ,但 单纯 
依靠 虚拟 化 技术 是 不 能 满足 所 有 应 用 需求 的 ， 不 同 的 应 用 对 计算 环境 基础 设施 有 不 同 的 要 
求 。 正 如 Forrester 的 资源 分 析 师 James Staten 所 言 “ 虚 拟 化 是 实现 云 计 算 的 一 个 步骤 ,但 实 
现 了 虚拟 化 并 不 等 于 实现 了 云 计算 ”。 


2.1.1 虚拟 化 技术 中 的 重要 名 词 及 技术 解释 


随 着 虚拟 化 技术 的 发 展 ， 越 来 越 多 的 名 词 和 术语 出 现在 虚拟 化 技术 中 ， 这 些 名 词 一 般 跟 
虚拟 化 技术 的 某 些 特性 相关 ， 了 解 它 们 对 掌握 具体 的 虚拟 化 技术 以 及 选择 合适 的 虚拟 化 产品 
会 大 有 帮助 。 

(1) Virtual Machine 虚拟 机 

一 般 是 指 通过 虚拟 化 技术 模拟 的 硬件 。 它 为 操作 系统 的 运行 提供 了 模拟 的 硬件 环境 。 

(2) 客户 操作 系统 ( Guest OS) 
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云 计 算 : 应 用 开发 实践 


运行 在 虚拟 机 之 上 的 操作 系统 称 之 为 客户 操作 系统 。“ 客 ” 字 可 以 理解 为 “做 客 ”， 在 
虚拟 机 中 启动 的 计算 机 可 以 看 成 是 在 基础 操作 系统 中 “做 客 ”。 

(3) Hypervisor 虚拟 机 管理 程序 

在 虚拟 化 技术 中 ，Hypervisor 就 是 提供 管理 与 监控 虚拟 机 的 软件 ， 它 处 于 基础 物理 层 与 
客户 操作 系统 (Guest OS) 之 间 ， 可 人 允许 虚拟 机 或 应 用 程序 共享 硬件 。 有 些 人 把 它 称 为 
VMM (Virtual Machine Monitor) ， 但 笔者 觉得 称 为 Hyperviosr 更 加 贴切 ， 因 为 它 不 仅仅 可 以 
监控 ， 同 时 还 具有 管理 虚拟 机 以 及 协调 虚拟 机 与 硬件 设备 的 能 力 。 虚 拟 化 技术 中 各 组 成 部 分 
的 关系 如 图 2-1 所 示 。 


i 


客户 操作 系统 | 客户 操作 系统 客户 操作 系统 














虚拟 化 层 (Hypervisor) 
硬件 








图 2-1 虚拟 化 技术 中 各 组 成 部 分 关系 图 


(4) 完全 虚拟 化 ( Full virtualization) 

在 完全 虚拟 化 中 ，Hypervisor 通过 模拟 一 个 相应 的 硬件 设备 使 客户 机 操作 系统 在 虚拟 机 
模拟 的 硬件 环境 中 运行 。 这 种 方案 正 是 1960 年 IBM 大 型 机 所 使 用 的 虚拟 化 技术 。 故 也 有 人 
称 它 为 原始 虚拟 化 。 在 这 种 技术 中 ， 虚 拟 机 扮演 客户 操作 系统 (Guest 0S) 和 原始 硬件 之 间 
协调 者 的 角色 。 故 硬件 设备 上 的 特定 受 保护 指令 必须 被 捕获 下 来 并 在 Hypervisor 中 进行 处 
理 ， 防 止 虚拟 机 同时 访问 某 些 资源 时 造成 操作 冲突 。 

(5) 部 分 虚拟 化 (Partial virtualization) 

Hypervisor 只 模拟 部 分 底层 硬件， 因此 客户 机 操作 系统 不 进行 修改 是 无 法 在 虚拟 机 中 运 
行 的 。 在 计算 机 的 历史 中 ， 部 分 虚拟 化 是 通 往 全 虚拟 化 道路 上 的 重要 里 程 碑 ， 它 最 早出 现在 
第 一 代 的 分 时 系统 CTSS 和 IBM M44/44X 实验 性 的 分 时 系统 中 。 虽 然 有 时 候 这 并 不 被 视 为 
一 般 意义 上 的 虚拟 机 ， 但 这 在 历史 上 是 非常 重要 的 一 页 。 

(6) 半 虚 拟 化 (Para - virtualization ) 

半 虚 拟 化 〈 也 有 资料 将 para - virtualization 翻译 为 平行 虚拟 化 ) Hypervisor 提供 特殊 的 编 
程 接口 供 客户 机 操作 系统 使 用 ， 故 客户 机 操作 系统 必须 经 过 改造 才能 够 在 半 虚 拟 化 环境 中 运 
行 。 由 于 半 虚 拟 化 技术 使 客户 操作 系统 直接 与 硬件 交互 ， 故 性 能 上 会 比 全 虚拟 化 要 好 。 然 而 
由 于 使 用 了 Hypervisor 提供 的 特殊 编程 接口 ， 所 以 客户 操作 系统 必须 定制 ， 从 而 失去 了 向 不 
同 硬件 平台 移植 的 方便 性 。 同 时 ， 因 为 客户 机 使 用 特殊 编程 接口 可 直接 与 硬件 交互 ， 当 某 一 
个 客户 机 对 硬件 操作 不 当时 ， 就 将 会 影响 该 硬件 上 所 有 客户 操作 系统 的 运行 。 

(7) 操作 系统 层 虚拟 化 (OS - level virtualization) 

在 操作 系统 层 虚 拟 化 中 ， 独 立 主机 被 虚拟 化 在 操作 系统 层 中 ， 可 使 得 多 个 独立 虚拟 化 的 
服务 器 运行 在 一 台 计 算 机 上 。 客 户 操 作 系 统 环境 与 宿主 服务 器 分 享 同一 个 操作 系统 ， 例 如， 
相同 的 系统 内 核 被 用 来 创建 客户 机 环境 。 程 序 运 行 在 被 视 为 独立 系统 的 客户 机 环境 中 。 简 单 
讲 就 是 将 操作 系统 划分 为 独立 分 区 供 不 同 用 户 使 用 ， 用 户 在 使 用 的 时 候 感觉 像 在 使 用 一 台独 
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立 的 计算 机 。 操 作 系 统 层 虚拟 化 不 需要 安装 客户 操作 系统 ， 但 只 能 虚拟 与 本 操作 系统 相同 的 
虚拟 机 。 比 如 Sun 的 Solaris 操作 系统 ， 使 用 这 种 技术 可 在 Solaris 操作 系统 中 虚拟 化 多 个 和 披 
此 独立 的 操作 系统 空间 供用 户 使 用 。 

(8) 动态 迁移 (Live Migration ) 

动态 迁移 就 是 在 一 个 虚拟 机 运行 的 状态 下 ， 将 它 从 一 台 计 算 机 迁移 到 另外 一 台 计 算 机 。 
试想 这 样 一 种 情况 . 某 组 织 有 两 台 服 务 器 A 与 B， 各 有 16 个 CPU， 在 服务 器 A 上 运行 着 8 
个 虚拟 机 ， 每 个 虚拟 机 使 用 1 个 CPU。 而 服务 器 B 上 也 同样 运行 着 8 个 虚拟 机 ， 且 每 个 虚拟 
机 也 只 用 1 个 CPU。 而 且 这 样 的 状况 持续 了 相当 长 的 时 间 ， 两 台 服务 器 的 利用 率 都 只 有 
50% 。 如 果 服 务 器 A. B 上 的 Hypervisor 支持 动态 迁移 ， 我 们 就 可 以 把 服务 器 B 上 的 所 有 虚 
拟 机 移动 到 服务 器 A 上 ， 并 关闭 服务 器 B。 既 提高 了 服务 器 A 的 使 用 效率 ， 又 节省 了 一 个 
服务 器 的 资源 ， 可 谓 是 一 种 “绿色 环保 技术 ” (英语 里 称 Green IT) 。 同 时 ， 动 态 迁 移 还 可 
发 挥 自动 恢复 的 作用 ， 当 硬件 出 现 问 题 时 ， 自 动迁 移 到 之 前 配置 的 其 他 硬件 上 。 

(9) 硬件 辅助 虚拟 化 

硬件 辅助 虚拟 化 需要 硬件 提供 支持 ， 帮 助 创建 虚拟 机 ， 监 视 并 允许 客户 机 操作 系统 独立 
和 运行。 硬件 辅助 虚拟 化 是 在 1972 年 ， 为 了 使 用 第 一 个 虚拟 机 操作 系统 VM/370， 第 一 次 由 
IBM System/370 引入 。 在 2005 年 与 2006 4E, Intel 和 AMD 分 别 为 虚拟 化 提供 了 额外 的 硬件 
支持 。Intel 称 之 为 VT，AMD 称 之 为 AMD -V。 硬件 辅助 虚拟 化 是 指 借助 硬件 (主要 是 主机 
处 理 器 ) 的 支持 来 实现 高 效 的 全 虚拟 化 。Guest 0S 和 Hypervisor 的 执行 环境 自动 地 完全 隔离 
开 来 ，Guest OS 有 自己 的 “全 套 寄存 器 ”， 可 以 直接 运行 在 最 高 级 别 。Intel - VT 和 AMD -V 
是 目前 x86 体系 结构 上 可 用 的 两 种 硬件 辅助 虚拟 化 技术 。 
对 于 硬件 辅助 虚拟 化 ， 首 先 需要 弄 清楚 在 传统 平台 下 哪些 因素 限制 了 虚拟 化 性 能 的 发 
挥 。 虚 拟 化 技术 使 得 人 们 可 以 在 一 台 物 理 服务 器 上 运行 多 个 不 同 的 虚拟 机 。 这 就 要 求 一 台 物 
理 服务 器 可 以 创建 和 管理 多 个 虚拟 系统 。 而 虚拟 化 技术 的 核心 在 于 Hypervisor， 它 是 成 功 完 
成 多 个 虚拟 化 相关 任务 的 关键 。Hypervisor 同时 管理 多 个 不 同 的 操作 系统 实例 ， 并 且 掌 管 这 
些 实例 间 的 进程 切换 ， 从 而 保证 每 个 虚拟 机 都 可 以 访问 到 底层 的 处 理 器 、 内 存 和 本 地 磁盘 等 
硬件 资源 。 它 通过 竞争 机 制 在 不 同 的 实例 之 间 分 配 计算 资源 ， 同 时 还 要 保证 不 同 虚拟 机 之 间 
的 相对 独立 性 。 

而 在 Intel 和 AMD 推出 相应 的 硬件 辅助 虚拟 化 技术 之 前 ， 虚 拟 化 平台 的 性 能 问题 主要 集 
中 于 处 理 器 中 缺少 对 应 的 内 部 指令 集 ， 因 而 无 法 保证 处 理 器 的 虚拟 化 任务 可 以 高 效 完 成 。 这 
些 虚 拟 化 任务 的 分 配 是 在 软件 层面 实现 的 ， 因 此 会 在 虚拟 机 体验 、 资 源 控制 和 效率 等 方面 表 
现 得 非常 差 。 简 单 地 讲 就 是 ， 如 果 某 个 虚拟 机 做 坏事 ， 则 整个 服务 器 都 受到 影响 。 而 AMD 
和 Intel 都 在 致力 于 新 的 处 理 器 升级 开发 以 满足 新 增加 的 虚拟 化 方面 的 需求 。 这 些 升级 减少 
(甚至 是 消除 ) 了 客户 操作 系统 之 间 的 资源 争夺 和 限制 ， 从 而 极 大 改善 了 虚拟 机 实例 的 安全 
性 和 性 能 。 

还 有 一 种 需求 是 从 硬件 厂商 的 角度 出 发 ， 由 于 Hypervisor 提供 给 虚拟 机 很 多 访问 基础 硬 
件 设备 的 方法 ， 而 如 果 一 个 虚拟 机 由 于 操作 不 慎 访 问 了 不 该 访问 的 底层 硬件 控制 接口 ， 就 会 
对 其 他 计算 机 造成 影响 ， 所 以 硬件 厂商 需要 提供 特殊 的 接口 以 确保 虚拟 机 之 间 在 硬件 层面 互 
不 干扰 。 

Intel - VT 技术 被 Intel 认为 是 一 项 针对 高 端 个 人 计算 机 及 服务 器 的 新 技术 。 只 有 高 端的 
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云 计 算 : 应 用 开发 实践 


Intel CPU 才 加 入 这 种 技术 。 而 AMD 的 AMD - V 技术 则 被 广泛 应 用 于 AMD 新 推出 的 CPU 
中 ， 比 如 Phenom II 漳 龙 。 

不 管 是 Intel 还 是 AMD 它们 的 硬件 辅助 虚拟 化 技术 ， 对 于 开发 人 员 而 言 最 后 就 是 一 组 
CPU 指令 集 。 但 不 同 厂商 间 的 CPU 指令 集 不 能 兼容 。 比 如 Intel - VT 的 Flex Migration. (动态 
迁移 ) 功能 允许 在 虚拟 化 平台 中 快速 、 方 便 地 在 多 个 支持 Intel - VT 指令 集 的 物理 服务 器 之 
间 迁 移 虚 拟 机 。 但 这 项 扩展 的 迁移 功能 无 法 适用 于 AMD 处 理 器 平台 。 在 不 同 处 理 器 厂商 平 
台 之 间 的 迁移 ， 可 能 会 导致 严重 的 性 能 问题 ， 甚 至 发 生 系统 故障 。 所 以 在 搭建 云 基础 设施 时 
既 要 考虑 到 成 本 问题 又 要 考虑 到 基础 设施 兼容 性 问题 。 

在 实际 的 工作 中 ， 全 虚拟 化 与 半 虚 拟 化 技术 应 用 比较 广泛 ， 我 们 将 挑选 几 类 较为 常见 而 
且 比 较 容易 获得 的 虚拟 化 产品 着 重 介 绍 。 


2.1.2 全 虚拟 化 技术 


在 全 虚拟 化 Hypervisor 上 运行 的 客户 操作 系统 不 需要 经 过 任何 修改 。 在 第 1 章 中 使 用 的 
VMware Server 采用 的 正 是 全 虚拟 化 技术 。 除 了 VMware Server 之 外 我 们 还 有 其 他 的 选择 。 下 
面 针对 Windows, Linux 以 及 服务 器 环境 分 别 选 择 Virtual PC, Red Hat Xen 以 及 ESXi Server 
介绍 。 

注意 Red Hat Xen 以 及 VMware ESX 需要 硬件 虚拟 化 支持 ， 故 如 果 想 试验 一 下 使 用 Red 
Hat Xen 虚拟 化 软件 ， 需 要 一 台 支 持 Intel - VT 的 计算 机 或 是 一 台 支 持 AMD - V 的 计算 机 。 
微软 Virtual PC 则 不 需要 。 

1. 微软 Virtual PC 

微软 在 2007 年 时 就 曾 发 布 过 Virtual PC 2007 虚拟 化 软件 ， 而 在 Windows 7 操作 系统 中 ， 
为 了 解决 应 用 软件 兼容 性 的 问题 推出 了 一 个 叫 XP Mode (XP 模式 ) 的 版 本 兼容 性 软件 。 它 
的 实质 是 在 Windows 7 中 启动 一 个 Windows XP 虚拟 机 。 在 最 初 的 Windows 7 发 布 版 本 中 ， 
只 有 具备 硬件 辅助 虚拟 化 功能 的 计算 机 才能 安装 ， 也 即 只 有 支持 Intel - VT 或 AMD - V 的 
CPU 上 才能 运行 Virtual PC。 但 微软 很 快 就 推出 了 不 需要 硬件 虚拟 化 的 Virtual PC 软件 。 

(1) 安装 Windows Virtual PC 与 Windows XP Mode 

Windows Virtual PC 暂时 只 支持 Window 7， 首先， 从 微软 官方 网 站 下 载 Windows 7 Virtual 
PC (http: //www. microsoft. com/windows/virtual - pc/download. aspx) ， 笔 者 在 写本 节 内 容 时 
微软 将 XP Mode 与 Virtual PC 放 在 一 起 下 载 ， 如 图 2-2 所 示 。 










































































Windows XP Mode Windows Virtual PC Windows XP Mode 


图 2-2 FÆ Virtual PC 与 Windows XP Mode 





在 通过 正版 Windows 7 认证 后 就 可 下 载 ,， 对 于 没有 硬件 虚拟 化 支持 的 用 户 ， 请 下 载 
STEP 4 的 下 载 包 ， 就 可 以 解决 。 安 装 下 载 包 跟 普 通 Windows 安装 包 一 样 ， 只 是 需要 重启 一 
次 计算 机 。 

安装 结束 后 ， 依 次 单 击 “ 开 始 ” 菜 单一 “所 有 程序 ”一 Windows Virtual PC 菜单 项 ， 启 
动 Virtual PC， 如 图 2-3 所 示 。 
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Windows Virtual PC 
E Windows Virtual PC 
E Windows XP Mode 





图 2-3 Windows Virtual PC 启动 菜单 


首次 运行 Windows XP Mode, 系统 将 会 创建 一 个 Windows XP 虚拟 机 ， 如 图 2-4 所 示 。 


-—AA M — oc» —— ——— 一 一 > 


gQ: + skaterhome » 虚拟 机 


组 织 ”包含 到 库 中 ”共享 ” ”刻录 GERENSL 新 建文 件 夫 
eS D| ga 计算 机 状态 内 存 xm 
(TE | 





- [5| 25 mnc 





E Windows XP Mode.vmcx ”已 休眠 256 MB JAxpmodimgWindows... 


图 2-4 创建 好 的 Windows XP Mode 虚拟 机 





现在 可 以 测试 一 下 Windows XP Mode 虚拟 机 。 


(2) 安装 虚拟 机 
在 Windows 7 F Virtual PC 提供 自动 安装 Windows XP 虚拟 机 的 功能 ， 单 击 图 2-3 中 的 


Windows XP Mode 菜单 系统 就 会 自动 安装 Windows XP 虚拟 机 。 同 时 ，Virtual PC 也 支持 手动 
安装 虚拟 机 ， 如 图 2-5 所 示 。 

















Share with * Create virtual machine New folder 





ez) (EV Create a virtual machine 


Specify a name and location for this virtual machine 





Name: virtualpcil 


You can choose a name that helps you identify the virtual machine. For example, 
you can use the name of the virtual operating system. 


Location: E'virtualpc 


Select a location to store the virtual machine file. 





图 2-5 手动 安装 虚拟 机 





注意 ， 根 据 笔者 实际 使 用 微软 Windows6. 1 - KB958559 - x86 - RefreshPkg. msu 安装 包 测 
试 的 结果 ，Virtual PC 对 Linux 操作 系统 的 显卡 支持 还 有 些 问 题 ， 故 建议 读者 暂时 安装 Win- 





dows XP 进行 实验 。 


启动 Windows XP Mode 虚拟 机 ， 如 图 2-6 所 示 。 选 择 虚 拟 机 依次 单 击 “打开 ”一 Win- 


dows Virtual PC 菜单 项 。 
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| 加 打开 /| #87 a3 设 告 创建 虚拟 机 新 建文 件 夫 


JE Windows Virtual PC : 计算 机 类 态 内 
选择 默认 程序 (CO).. ws XP Mode.vmcx BRE 25 


2-6 ”启动 Windows XP Mode 虚拟 机 








启动 Windows XP Mode 虚拟 机 后 将 看 到 如 图 2-7 所 示 的 画面 ， 一 个 Windows XP 虚拟 机 
已 经 可 以 使 用 了 。 


总 Windows XP Mode - Windows Virtual PC — E — 0 [e €) jtm] 


EHE USB v IR ~ Ctrl+Alt+Del 


O 您 的 计算 机 可 能 存在 风险 X 
防 病毒 软件 可 能 未 实 装 | 


单 击 此 气球 修复 该 问题 。 





图 2-7 使 用 Windows Virtual PC 启动 的 Windows XP 虚拟 机 


打开 虚拟 机 中 “我 的 电脑 ”， 可 以 看 到 Windows Virtual PC 为 方便 用 户 访问 已 有 文件 ， 
将 启动 虚拟 机 的 Windows 7 中 的 所 有 硬盘 都 作 了 映射 ， 如 图 2-8 所 示 。 


























sp SKATERHDME-PC 上 的 E SKATERHDME-PC 上 的 
T t 


SP SKATERHOME-PC 上 的 
D 


图 2-8 Windows XP Mode 虚拟 机 中 的 硬盘 映射 


(3) 编程 接口 调查 

还 记得 我 们 在 第 1 章 中 使 用 VMware Server 自 带 的 命令 行 启动 和 暂停 虚拟 机 吗 ? 微软 
Windows Virtual PC 暂时 不 提供 命令 行 ， 不 过 微软 官方 网 站 却 提供 一 个 叫 Virtual PC 2007 的 
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程序 包 ， 这 个 版 本 是 为 Windows Vista 而 开发 的 虚拟 化 工具 ， 它 就 提供 命令 行 对 虚拟 机 进行 
操作 (但 是 在 安装 过 程 中 ，Virtual PC 2007 与 Windows Virtual PC 不 兼容 ) ， 相 信 不 久 Win- 
dows Virtual PC 也 会 支持 命令 行 。 除 了 使 用 命令 行 控制 虚拟 机 外 ， 我 们 还 可 以 通过 编程 接口 
控制 虚拟 机 ，Windows Virtual PC 提供 Windows COM 编程 接口 (关于 COM 接口 的 介绍 , 在 
第 8 章 我 们 会 使 用 Windows COM 组 件 将 Excel 搭建 在 云 计 算 环 境 中 ) Virtual PC 现在 支持 的 
API 可 以 通过 微软 官方 网 站 查询 。 一 般 我 们 比较 关心 如 何 启动 以 及 关闭 虚拟 机 ， 微 软 提供 了 
相应 的 IVMVirtualMachine 接口 ， 这 个 接口 所 包含 的 部 分 方法 见 表 2-1。 
表 2-1 IVMVirtualMachine 接口 所 包含 的 部 分 方法 

















方法 名 称 说 明 
Startup 启动 虚拟 机 
TurnOff 关闭 虚拟 机 
Pause 暂停 虚拟 机 ， 一 般 指 迅速 保存 当前 的 工作 状态 
Resume 与 暂停 虚拟 机 相反 ， 指 恢复 虚拟 机 的 工作 状态 








2. Red Hat Xen 

基本 上 所 有 Linux 正式 发 行 版 上 都 会 附带 Xen Hypervisor， 这 里 选 Red Hat Enterprise 5. 4 
作为 实例 作 介绍 。 

(1) 安装 Red Hat Xen 

在 Red Hat 操作 系统 中 安装 Xen 虚拟 化 软件 有 两 种 方法 ， 第 一 种 是 在 安装 过 Linux 操作 
系统 的 计算 机 上 安装 Xen 虚拟 化 软件 ， 第 二 种 是 在 安装 Red Hat 操作 系统 的 时 候选 择 安装 。 
我 们 一 般 使 用 第 二 种 安装 方式 ， 具 体 是 在 定制 软件 包 的 时 候 ， 选 择 需要 用 到 的 虚拟 化 软件 ， 
如 图 2-9 所 示 。 


RED HAT 
ENTERPRISE LINUX 5 


The default installation of Red Hat Enterprise Linux Server includes a set of software 
applicable for general internet usage. What additional tasks would you like your system to 
include support for? 


Clustering 
L] Software Development 
7| Virtualization 


C web server 


You can further customize the software selection now, or after install via the software 
management application. 


Customize later $ Customize now 


[Q Release Notes | 4 Back $ Next 








器 








2-9 定制 化 虚拟 软件 的 安装 
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在 图 2-9 中 单 击 customize now 单 选 按钮 ， 单 击 next 按钮 ， 选 择 Virtulization 软件 组 ， 如 
图 2-10 所 示 。 


RED HAT 
ENTERPRISE LINUX 5 


Desktop Environments o O KVM 


Applications u Virtualization 


Development 
Servers 

Base System 
Cluster Storage 
Clustering 


| Virtualization E 


Virtualization Support. 


5 of 8 optional packages selected 


| Optional packages | 


| [Q Betease Notes | 4 Back | | $9 Next J 


2-10 Windows XP Mode 虚拟 机 启动 状态 


在 图 2-10 中 有 两 种 虚拟 化 软件 可 供 选择 ， 它 们 分 别 是 KVM 和 Virtualization, Virtualiza- 
tion 即 为 Xen 虚拟 化 技术 。 而 KVM 是 Linux 社区 提供 的 另 一 款 虚拟 化 软件 。 在 图 2-10 中 单 
击 Optional packages 按钮 ， 可 以 选择 所 需要 的 虚拟 化 软件 包 。 其 中 ,我们 重点 选择 virt - 
manager， 如 图 2-11 所 示 。 


RED HAT 
ENTERPRISE LINUX 5 





Packages In Virtualization 


Some packages associated with this group are not 

Appl required to be installed but may provide additional md 
functionality. Please choose the packages which 

Deve you would like to have installed. 

Serv —————————————————————— a 

^] gnome-applet-vm-0.1.2-1.e15.x86 64 - Simple virtual domains monitor whi| 





Base  - 

O Mbemplutil-0.4-2.e!5.1386 - CMP! Utility Library 
Clus E MWbvirt-0.6.3-15.e15.1386 - Library providing a simple API virtualization 
Clus 


O Wbvirt-cim-0.5.5-2.e15.x86 64 - A CIM provider for libvirt 

| Virtų LJ pert-SysVirt-0.2.0-4.e15.x86_64 - Peri bindings for the libvirt library | 

5j wirt-manager-0.6.1-7.e15.x86 64 - Virtua! Machine Manager | 

5] wirt-viewer-0.0.2-3.e15.x86 64 - Virtual Machine Viewer [ ] 
I | == 





X Josh 
| 口 aaease Notes 4 Back | [€ Next " 


2-11 选择 需要 的 虚拟 化 软件 包 
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(2) 安装 虚拟 机 


使 用 Xen 虚拟 化 软件 ， 一 般 要 通过 虚拟 机 管理 器 (Virtual Machine Manager) 进行 虚拟 
机 的 管理 。 登 录 Red Hat Xwindows 图 形 化 操作 界面 后 ， 在 命令 行 中 输入 virt - manager， 将 看 
到 如 图 2-12 所 示 的 Virtual Machine Manager 界面 。 在 该 界面 中 还 可 以 看 到 本 地 计算 机 已 经 被 
深 加 到 虚拟 机 管理 咒 中 。 

'g Virtual Machine mm | 


File Edit View Help 











View. All virtual machines = 
Name "v |ID Status CPU usage Memory usage 
~ localhost xen Active 0.28 96 3.44 GB 88 "4 
Domain-0 0 oi Running 0.28 % 3.44 GB [i E 














[3 New P Details 


图 2-12 Virtual Machine Manager 界面 


在 本 地 计算 机 的 节点 上 单 击 鼠标 右键 ， 选 择 New 将 可 以 创建 一 个 新 的 虚拟 机 ， 如 图 2-13 
所 示 。 








HI Virtual Machine Manager koa- x 
File Edit View Help 
View. All virtual machines = | 
Name "v |ID Status CPU usage Memory usage 





localhost e j 344G6 88 串 
Domain- iing 0.31 96 3.44 GB [EET | 


QD Disconnect 





2-13 创建 新 虚拟 机 





接着 会 弹出 虚拟 机 创建 方式 窗口 ， 如 图 2-14 所 示 。 
(3) 编程 接口 调查 
Red HatXen 提供 命令 行 工具 virsh 操作 虚拟 机 ，virsh 基本 命令 如 下 : 


start 启动 虚拟 机 
shutdown 关闭 虚拟 机 
suspend 暂停 虚拟 机 
resume 恢复 暂停 的 虚拟 机 


除 此 之 外 Xen 虚拟 化 软件 还 提供 了 相应 的 C 语言 编程 接口 供 开发 人 员 使 用 。 
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HI Create a new virtual system tedadi 


Choęsing a virtualization method 


You will need to choose a virtualization 
method for your new system: 


OO Paravirtualized: 
Lightweight method of virtualizing machines. Limits 
operating system choices because the OS must be 
specially modified to support paravirtualization. Better 
performance than fully virtualized systems. 





e simulation, allowing for a greater 
range of operating systems (does not require OS 
modification). Slowerthan paravirtualized systems. 


CPU architecture: 





(gen | | x Cancel | | - Back| | [^ Eorwar | 











图 2-14 虚拟 机 创建 方式 窗口 


3. VMware ESX Server 

VMWare 公司 最 早 开 发 并 完成 了 基于 x86 计算 机 体系 结构 的 虚拟 化 软件 ， 因 此 他 们 有 一 
系列 的 虚拟 化 产品 ， 并 且 格 式 统一 。VMware 的 虚拟 机 文件 可 以 运行 在 不 同系 列 的 VMware 
虚拟 化 产品 上 。 在 第 1 章 中 使 用 的 VMware Server 是 VMware 公司 为 个 人 虚拟 化 入 门 用 户 提 
供 的 免费 虚拟 化 产品 。VMware 公司 为 企业 用 户 提供 的 虚拟 化 产品 称 为 EXS Server， 其 免费 
版 本 ESXi 同样 可 以 从 VMware 的 网 站 下 载 (下 载 VMware 的 产品 需要 注册 VMware 账户 ， 一 
般 在 首次 注册 完成 后 ， 需 要 使 用 同样 的 信息 再 次 访问 VMware 的 网 站 才能 激活 账户 ) 。 

(1) 安装 ESXi Server 

目前 ESXi Server 只 支持 Intel Xeon. (至 强 ) Hi VT 技术 ， 以 及 AMD Opteron. ( 卑 龙 ) H 
带 AMD -V 技术 。 这 样 的 CPU 一 般 都 是 服务 器 上 使 用 的 CPU。 对 于 一 般 读者 而 言 ， 找 到 这 
样 的 测试 机 并 搭建 测试 环境 可 能 有 一 定 难 度 。 但 ESX Server 是 企业 中 使 用 比较 广泛 的 一 种 虚 
拟 化 技术 。 所 以 还 是 有 必要 在 这 里 跟 大 家 介绍 一 下 ESX Server 的 搭建 以 及 使 用 。 

首先 ， 从 VMWare 官方 网 站 下 载 ESXi 安装 光盘 ， 这 里 下 载 的 是 ESXi 4. 1 的 安装 光盘 。 
如 果 是 安装 一 台新 服务 器 ， 一 般 需 要 将 ISO 文件 刻录 为 光盘 后 再 安装 。 将 光盘 放 人 光驱 ， 同 
时 将 服务 器 通过 ESXi 光盘 引导 ， 将 看 到 如 图 2-15 所 示 提 示 界 面 ， 选 择 ESXi Installer 界面 
将 开始 安装 ESXi Server。 








UMware UMvisor Boot Menu 


ESXi Installer - 


Boot from local disk 








器 








2-15 H ESXi 光盘 引导 启动 服务 器 
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注意 在 下 面 的 操作 前 请 确认 服务 器 上 没有 需要 保存 的 文件 ， 因 为 ESXi Server 的 安装 会 

将 服务 器 上 的 硬盘 重新 格式 化 ， 所 以 请 确认 所 有 服务 右上 的 资料 都 已 经 备份 ， 并 且 没 有 其 他 
人 使 用 这 台 服 务 器 。 按 (Enter〉 键 即 开 始 ESXi Server 的 安装 ， 如 图 2-16 所 示 。 





(ESC) Cancel (R) Repair (Enter) Install 


图 2-16 J ESXi 光盘 





安装 成 功 后 将 可 以 看 到 如 图 2-17 所 示 界 面 。 


successfully 


(Enter) Reboot 


图 2-17 安装 成 功 








新 安装 的 ESXi Server 一 般 不 设置 密码 ， 启 动 后 将 可 以 看 到 如 图 2-18 所 示 的 ESXi Server 
控制 台 ， 在 这 里 可 以 对 密码 和 网 络 等 进行 配置 。 
System Customization 


sonf igure Passord 
Configure Lockdonn Mode 





Configure Management Network 
Restart Management Netnork 
Test Management Netnork 
Disable Management Netnork 
Restore Standard Snitch 


Configure Keyboard 

View Support Information 

Vien System Logs 
Troubleshooting Options N 


Reset System Configuration 
Remove Custom Extensions 


<Up~Dorm> Select <Enter> 





K| 2-18 ESXi Server 控制 台 








(2) 安装 虚拟 机 
读者 也 许 会 奇怪 ， 在 图 2-18 中 为 何 没 有 虚拟 机 配置 选项 。VMware 将 ESXi Server 设计 
成 虚拟 化 服务 器 ， 所 谓 服务 器 ， 与 之 前 介绍 的 侧重 于 时 面 虚拟 化 的 Virtual PC 不 同 ， 用 户 一 
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般 通 过 网 络 来 访问 虚拟 化 服务 器 。 要 使 用 ESXi Server 的 虚拟 化 功能 ， 我 们 需要 使 用 VMware 
vSphere Client。 打 开 浏览 器 ， 输 入 http: //ESXi Server 的 IP 地 址 ， 将 可 看 到 如 图 2-19 所 示 
的 ESXi Server 说 明 及 客户 端 下 载 界面 。 


VMware ESXi 
Welcome 


4.1 


Getting Started 


If you need to access this host remotely, use the following 
program to install vSphere Client software. After running the 
installer, start the client and log in to this host. 





To streamline your IT operations with vSphere, use the following 
program to install vCenter. vCenter will help you consolidate and 
optimize workload distribution across ESX hosts, reduce new 
system deployment time from weeks to seconds, monitor your 





For Administrators 


vSphere Remote Command Line 

The Remote Command Line allows you to 
use command line tools to manage 
vSphere from a client machine. These 
tools can be used in shell scripts to 
automate day-to-day operations. 

es Download the Virtual Appliance 

* Download the Windows Installer (exe) 


es Download the Linux Installer (tar.gz) 


virtual computing environment around the clock, avoid service 
disruptions due to planned hardware maintenance or unexpected 
failure, centralize access control, and automate system 
administration tasks. 


Web-Based Datastore Browser 


Use your web browser to find and 
download files (for example, virtual 
machine and virtual disk files). 

* Download VMware vCenter * Bre 
iny 


datastores in this host's 








If you need more help, please refer to our documentation library: 
For Developers 





e vSphere 4.1 Documentation 
vSphere Web Services SDK 
Learn about our latest SDKs, Toolkits, and 
APIs for managing VMware ESX, ESXi, and 
VMware vCenter, Get sample code, 
reference documentation, participate in 
our Forum Discussions, and view our latest 
Sessions and Webinars. 


* Learn more about the Web Services SDK 


* Browse objects managed by this host 


[d] 2-19 ESXi Server 说 明 及 客户 端 下 载 界面 





单 击 Download vSphere Client 链接 即 可 下 载 vSphere Client, 

下 载 的 vSphere Client 是 一 个 Windows 安装 包 ， 安 装 后 会 在 桌面 上 创建 VMware vSphere 
Client 图 标 ， 如 图 2-20 所 示 。 双 击 该 图 标 ， 即 可 登录 ESXi Server 虚拟 化 操作 平台 。 用 户 名 
为 root， 密 人 码 是 在 图 2-18 中 设置 的 。 








图 2-20 VMware vSphere Client 图 标 


双击 图 标 后 可 以 看 到 如 网 2-21 所 示 的 ESXi Server 虚拟 化 控制 台 界 面 。 

在 ESXi Server 虚拟 化 控制 台中 ， 单 击 荔 按钮 ， 将 创建 新 的 虚拟 机 。 关 于 新 虚拟 机 的 创 
建 ， 基 本 步骤 与 Virtual PC 以 及 Virt - Manager 类 似 ， 只 要 按照 提示 一 步 一 步 创 建 即 可 。 需 要 
注意 的 是 ，ESXi Server 有 自己 的 磁盘 管理 系统 ， 需 要 将 安装 文件 的 光盘 镜像 (iso) 文件 上 
传 到 ESXi Server 的 文件 系统 中 才能 在 远程 安装 客户 操作 系统 ， 上 传 安装 光盘 镜像 后 ， 单 击 
power - on 即 可 安装 ， 如 图 2-22 所 示 。 
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File Edit View Inventory Administration Plug-ins Help 
[^] Home p gf Inventory p [Sb Inventory 
Be 


OB [roses |. qxuesxsimulator.asia.corp.platform.com VMware ESXi, 4.1.0, 348481 | Evaluation (52 days remaining) 


Getting Started NETTE TT NNI o ER a C MM SET D P Pn Te MM AAAA- E v re T e MM re ERE enne ra ME 07 0 AM ITI TE 




















close tab 





x 








What is a Host? 


A host is a computer that uses virtualization software, such Virtual Machines 
as ESX or ESXi, to run virtual machines. Hosts provide the 
CPU and memory resources that virtual machines use and 
give virtual machines access to storage and network 
connectivity. 


You can add a virtual machine to a host by creating a new 
one or by deploying a virtual appliance. 


Host 


The easiest way to add a virtual machine is to deploy a 
virtual appliance. A virtual appliance is a pre-built virtual 
machine with an operating system and software already 
installed. A new virtual machine will need an operating 
system installed on it, such as Windows or Linux. 





^p 
vSphere Client 


Basic Tasks 


BÍ Deploy from VA Marketplace 


B Create a new virtual machine DR 


Learn about vSphere 


Manage multiple hosts, eliminate downtime, load 
balance your datacenter with vMotion, and more 





Evaluate vSphere 








图 2-21 ESXi Server 虚拟 化 控制 台 界 面 


ea n Summary SCE Ea 











General Resources 
Guest OS: Red Hat Enterprise Linux 6 (32-bit) Consumed Host CPU: 
VM Version: 7 


Consumed Host Memory: 
































CPU: 1 vCPU Active Guest Memory: 
Memory: 1024 MB Refresh Storage Usage 
Memory Overhead: 134.80 MB Provisioned Storage: 1.00 GB 
VMware Tools: Not installed Not-shared Storage: 1.00 MB 
IP Addresses: Used Storage: 1.00 MB 
DNS Name: Datastore ^ | Capacity | Free | Last Update 
State: Powered off | B) datastorel 6.00GB  5.69GB 2011/3/19" 
Host: qxuesxsimulator,asia.corp.platform.com 
Active Tasks: 

Commands 

D Power On 





o Edit Settings 








Annotations 





Ê Edit 
Notes: ^ 











图 2-22 ”上传 客户 操作 系统 镜像 文件 


云 计 算 : 应 用 开发 实践 


(3) 编程 接口 调查 

VMware ESXi Server 提供 Webservice 接口 供 开 发 人 员 使 用 。Webservice 接口 是 一 种 基于 
XML 格式 的 公开 网 络 访问 协议 ， 基 本 上 每 一 种 编程 语言 都 有 相应 的 实现 。 它 可 以 从 VMware 
官方 网 站 下 载 。 这 里 一 定 要 注意 SDK 的 版 本 ， 本 书 使 用 的 是 ESXi Server 4. 1， 要 下 载 相应 的 
SDK。 笔 者 下 载 的 版 本 是 VMware -vSphere - WS -SDK -4.1.0 -257238。 下 载 SDK 文件 包 并 解 
压缩 后 ， 可 以 在 SDK\ samples 中 看 到 两 个 文件 夹 Axis 以 及 DotNet, Axis 是 支持 Java 语言 的 一 
种 Webservice 实现 ， 在 Axis 文件 夹 中 存放 Java 语言 的 例子 ， 而 DotNet 文件 夹 中 存放 微软 CHE 
言 的 例子 。 启 动 以 及 关闭 虚拟 机 的 Java. 编程 接口 位 于 类 com. vmware. vim. VimPortType 中 ， 这 
个 接口 所 包含 的 部 分 方法 见 表 2-2。 

表 2-2 VMware Java 编程 接口 





























方法 名 称 说 — Hj 
powerOnVM, Task 启动 虚拟 机 
powerOffVM Task 关闭 虚拟 机 
suspendVM_Task 暂停 虚拟 机 ， 一 般 指 迅速 保存 当前 的 虚拟 机 工作 状态 





读者 可 以 参考 com. vmware. samples. vm. VMpowerOps 类 中 对 虚拟 机 操作 的 实现 。 

(4) VMware 虚拟 化 架构 

VMware ESX Server 是 VMware 公司 针对 企业 用 户 推出 的 关键 虚拟 化 产品 。 它 不 依赖 于 任 
何 第 三 方 操作 系统 。 为 此 VMware 公司 创建 了 专门 的 操作 系统 (Host Operating System, 
Linux 操作 系统 ) ， 它 将 虚拟 化 层 (Hypervisor) 架构 在 VMware 的 操作 系统 之 上 。 这 也 是 为 
什么 我 们 在 安装 ESX Server 时 并 不 需要 像 VMware Server 那样 ， 需 要 安装 在 其 他 操作 系统 之 
上 。 这 样 的 设计 也 使 得 ESX Server 成 为 了 只 专注 于 虚拟 化 任务 的 服务 器 操作 系统 。 这 种 专注 
于 虚拟 化 技术 的 操作 系统 是 未 来 虚拟 化 软件 发 展 的 一 个 趋势 ， 它 比 架构 在 现 有 操作 系统 上 更 
加 节省 系统 资源 ， 更 专注 于 虚拟 化 。 
2.1.3. 半 虚 拟 化 技术 


半 虚 拟 化 与 全 虚拟 化 技术 的 主要 差别 就 在 于 ， 半 虚拟 化 Hypervisor 提供 特殊 的 API 供 客 
户 机 操作 系统 使 用 ， 虚 拟 机 不 需要 模拟 硬件 ， 客 户 机 操作 系统 必须 经 过 改造 才能 够 在 半 虚 拟 
化 环境 中 运行 。 半 虚拟 化 架构 之 所 以 能 成 为 与 全 虚拟 化 架构 旗 鼓 相当 的 主流 技术 标准 ， 关 键 
在 于 它 的 效率 优 于 全 虚拟 化 。 主 要 原因 是 ， 在 全 虚拟 化 的 架构 下 ， 计 算 机 虚拟 化 还 必须 经 由 
操作 系统 负责 控制 与 分 配 底层 硬件 的 资源 ; 但 在 半 虚 拟 化 架构 下 ， 计 算 机 虚拟 化 是 经 由 Hy- 
pervisor 让 虚拟 机 能 直接 取 用 硬件 运算 资源 ， 而 不 是 虚拟 出 整套 计算 机 的 硬件 资源 ， 从 而 执 
行 效率 提升 不 少 。 但 也 正 是 由 于 半 虚 拟 化 直接 访问 硬件 ， 造 成 了 运行 在 半 虚 拟 化 软件 上 的 客 
户 操作 系统 必须 针对 Hypervisor 作 修改 。 随 着 硬件 辅助 虚拟 化 能 力 的 不 断 加 强 ， 笔 者 认为 半 
虚拟 化 在 性 能 上 的 优势 会 逐渐 减弱 ， 而 它 需 要 修改 操作 系统 的 劣势 不 会 改变 。 下 面 我 们 实际 
动手 操作 一 下 半 虚 拟 化 软件 。 

1. Xen 半 虚 拟 化 

Xen 通过 向 操作 系统 提供 了 一 套 特殊 的 Hypervisor 编程 接口 ， 避 免 了 操作 系统 直接 调用 
底层 硬件 编程 接口 可 能 导致 的 危害 。 根 据 Xen 自己 的 说 法 ， 使 用 半 虚 拟 化 的 技术 ， 虚 拟 机 
的 执行 效率 得 到 了 很 大 的 提升 ， 同 时 在 同一 台 物 理 机 上 ，Xen 能 虚拟 化 更 多 的 客户 操作 系 
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统 。 由 于 Xen 虚拟 化 技术 大 量 在 Linux 操作 系统 中 应 用 ， 故 Xen 几乎 支持 所 有 版 本 的 Linux 
半 虚 拟 化 虚拟 机 ， 但 和 暂时 无 法 支持 Windows 操作 系统 。 

在 virt - manager 中 集成 了 半 虚 拟 化 与 全 虚拟 化 技术 ， 如 图 2-23 所 示 ， 在 创建 虚拟 机 
时 ， 可 选择 虚拟 化 方式 ， 选 择 Paravirtualized ， 即 采用 半 虚 拟 化 方式 创建 虚拟 机 。 








M Create a new virtual system 


bbais 


Choosing a virtualization method 


You will need to choose a virtualization 
method for your new system: 





®© ;paravirtualized: 


Lightweight method of virtualizing machines. Limits 


operating system choices because the OS must be 
specially modified to support paravirtualization. Better 
performance than fully virtualized systems. 


© Fully Virtualized: 


Involves hardware simulation, allowing for a greater 
range of operating systems (does not require OS 
modification). Slower than paravirtualized systems. 


CPU architecture: 


[可 





| x Cancel | | E Back | | I^ Forward | 





图 2-23 选择 半 虚 拟 化 方式 创建 虚拟 机 





这 里 需要 注意 ,使 用 Xen 创建 半 虚 拟 化 虚拟 机 时 ， 由 于 不 能 使 用 虚拟 光驱 ， 所 以 需要 





E 


通过 配置 网 络 文件 系统 参数 来 获得 所 需要 的 安装 镜像 文件 。 
2. VMware 半 虚 拟 化 


VMware 在 2005 年 提出 客户 操作 系统 与 Hypervisor 之 间 通 信和 的 半 虚 拟 化 接口 ，Virtual 
Machine Interface ( VMI) , VMware 希望 操作 系统 提供 商 可 以 在 操作 系统 中 实现 这 个 接口 ， 这 
样 操作 系统 就 可 以 直接 在 VMware 的 半 虚 拟 化 软件 中 运行 。 在 2006 F, VMware 发 布 了 正式 
的 VMI 标准， 并 展示 了 使 用 VMI 接口 的 演示 操作 系统 。 最 终 ，VMware 将 这 项 技术 应 用 在 


ESX Server 中 。 








VMware ESXi Server 4. 1 同时 支持 全 虚拟 化 与 半 虚 拟 化 技术 。 只 要 在 虚拟 机 的 选项 窗口 
中 选择 Enable VMI paravirtualization 复 选 按钮 即 可 ， 如 图 2-24 所 示 。 
VMware 只 支持 部 分 实现 了 VMI 接口 的 32 位 Linux 操作 系统 ， 具 体 参见 表 2-3, 


表 2-3 VMI 支持 的 Linux 操作 系统 























操作 系统 厂商 发 行 版 名 称 版 本 

Canonical Ubuntu 7.04, 7.10, 8.04, 8.10, 9.04, 9.10 
Debian Debian Default 

Fedora Fedora 8 

Mandriva 2008, 2009 desktop, default 

Novell SLES 10, 11 
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E) TestyMI - Virtual Machine Properties oj e-e 


Hardware Options | Resources | 
















Settings Summary 

General Options Testy MI YMI is a paravirtualization standard supported by some 
N isabled guest operating systems, Guest OSs that recognize YMI 

v&pp Options Disable will gain improved performance with YMI support, 


























VMware Tools System Default 
Enabling YMI support will restrict the virtual machine's 

Power Management Suspend compatability For vMotion and some other migrations to 
Advanced other hosts which offer VMI support. 

General Normal 

CPUID Mask Expose Nx flagto ... 

: P . 9 [ Enable YMI paravirtualization 

Memory/CPU Hotplug Disabled/Disabled 

Boot Options Normal Boot 

Parawirtualization Disabled YMI paravirtualization will not be supported in the 

Fibre Channel NPIV Mone i , next release of the VMware vSphere platform. 

CPUIMMU Virtualization Automatic To migrate this VM, disable VMI before starting the 

Swapfile Location Use default settings upgrade. 










Reference VMware Knowledge Base article 
4: 


1013842 





Help Finish Cancel | 


图 2-24 开启 VMI 半 虚 拟 化 选项 





值得 一 提 的 是 VMware 公司 将 在 不 久 的 将 来 不 再 支持 半 虚 拟 化 技术 ， 这 主要 是 由 于 新 的 
Interl - VT 和 AMD - V 技术 的 迅速 发 展 ，VMware 公司 认为 使 用 硬件 辅助 虚拟 化 对 系统 的 提高 
与 使 用 半 虚 拟 化 对 系统 性 能 提高 相差 不 大 。 另 外 还 有 一 点 ，VMI 是 由 VMware 提出 的 ， 而 VMI 
需要 Linux 以 及 微软 的 操作 系统 来 做 实际 的 集成 工作 ， 这 本 里 就 需要 厂商 之 间 的 合作 。 而 这 些 
操作 系统 厂商 现在 又 在 大 力 发 展 自己 的 虚拟 化 技术 ， 显 然 与 VMware 存在 竞争 。 所 以 VMware 
的 标准 很 难得 到 贯彻 。 加 上 新 的 便 件 辅助 虚拟 化 技术 也 助 推 了 VMware 放弃 半 虚 拟 化 技术 。 

3. 微软 Hyper - V 

上 一 节 介 绍 了 微软 的 Virtual PC， 它 采用 的 是 全 虚拟 化 技术 ， 较 Xen 以 及 VMware 早 就 采 
用 的 半 虚 拟 化 技术 相 比 ， 微 软 的 全 虚拟 化 产品 在 性 能 上 落后 于 采用 了 半 虚 拟 化 技术 的 产品 ， 对 
于 某 些 对 性 能 要 求 较 高 的 企业 用 户 来 说 ， 可 能 就 不 会 采用 微软 的 产品 ， 故 微软 在 推出 其 Win- 
dows Server 2008 的 同时 ， 附 带 了 Hyper - V 虚拟 化 技术 ， 该 技术 采用 了 半 虚 拟 化 技术 。 

首先 ， 需 要 安装 Windows Server 2008 ， 在 微软 的 官方 网 站 上 提供 镜像 文件 的 下 载 ， 可 以 
免费 使 用 180 天 。 

只 要 是 x64 计算 机 即 可 安装 Windows Server 2008 ， 并 不 要 求 硬 件 虚拟 化 支持 ， 但 如 果 要 
使 用 Hyper -V， 必 须 具 备 硬件 虚拟 化 能 

安装 好 Windows Server 2008 后 ， 登 录 Windows Server 2008 ， 单 击 “ 开 始 ” 荣 单一 管理 工 
有 具 一 服务 器 管理 器 ， 如 图 2-25 所 示 。 

右 击 “角色 ”节点 ， 在 弹出 的 快捷 菜单 中 选择 “添加 角色 ”， 如 图 2-26 所 示 。 

在 弹出 的 “添加 角色 向 导 ” 对 话 框 中 直接 单 击 “下 一 步 ”按钮 ， 如 图 2-27 所 示 。 

如 图 2-28 所 示 ， 在 添加 服务 器 角色 向 导 中 ， 单 击 Hyper-V, 
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器 管理 器 (WIN-UO!JBSHMFO 








二 查看 安装 在 服务 器 上 角色 的 运行 状况 ， 以 及 添加 或 出 除 角 色 和 功能 。 
> 








刷新 FF) ^ 角色 摘要 角色 摘要 帮助 
帮助 00 = 
勺 角色 : 已 安装 0 个 ( 共 17 个 ) go 添加 角色 
B RES 
图 2-26 向 服务 器 管理 器 添加 角色 
添加 角色 向 导 E 到 
i” 
开始 之 前 EOS RGHNSE RAE » 根据 要 求 此 服务 器 执行 的 任务 来 确定 要 安装 的 角色 ， 例 如 共 
服务 器 角色 EX 主持 Ao 
确认 继续 操作 之 前 ， 请 验证 以 下 事项 : 
进度 * Administrator Mtr ia 
， parEiem pln S IP hl 
结果 E SER Finder Update E e 


如 果 您 必须 结束 上 述 的 任何 操作 ， 请 取消 此 向 导 ， 结 束 操作 ， 然 后 再 次 运行 向 导 。 
若 要 继续 ， 请 单 击 “ 下 一 步 ”。 


厂 默认 情况 下 将 跳 过 此 页 6) 


< E=$ F) [mn] xm) | 取消 | 





N 








2-27 “添加 角色 向 导 ” 对 话 村 


IHI 








这 个 时 候 会 验证 硬件 是 否 支 持 虚 拟 化 ， 如 果 不 支 持 ， 就 会 报错 ， 并 且 不 能 安装 Hyper - 


V， 如 图 2-29 所 示 。 
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添加 角色 向 导 


E 选择 服务 器 角色 


开始 之 前 选择 要 安装 在 此 服务 器 上 的 一 个 或 多 个 角色 。 
服务 器 角色 角色 0): 















Active Directory Rights Management Services 
[ ] Active Directory 联合 身份 验证 服务 
[ ] Active Directory 轻型 目录 服务 
[ ] Active Directory 域 服务 
[ ] Active Directory 证 书 服 务 
O DHCP 服务 器 
C ms 服务 器 
Hyper-V 
Diva, gest CIS) 
L| Windows Server Update Services 
[ ] Windows 部 署 服 务 
O 传真 服务 器 
L] 打印 和 文件 服务 
L.] 网络 策略 和 访问 服务 
L] 文件 服务 
L] 应 用 程序 服务 器 
远程 桌面 服务 




















图 2-28 添加 Hyper-YV 角色 
@ ar mer h 
人 


Bá: EL E 














图 2-29 无 法 安装 Hyper - V 
如 果 读 者 的 计算 机 可 以 通过 硬件 检查 ， 将 看 到 如 图 2-30 所 示 设 置 Hyper - V 页 面 ， 这 
里 需要 注意 的 是 对 于 一 般 服 务 器 而 言 有 两 块 以 上 的 网 卡 ， 故 请 选择 可 以 用 作 虚 拟 网 络 配置 的 
网 卡 。 如 果 读 者 只 有 一 块 网 卡 ， 直 接 选 择 就 可 以 了 ， 网 卡 选择 如 图 2-31 所 示 。 
向 导 结 束 后 会 要 求 用 户 重启 计算 机 。 重 启 之 后 在 “开始 ”菜单 中 会 增加 Hyper- V 管理 
器 ， 如 图 2-32 所 示 。 




















添加 角色 向 导 E X| 
E Hyper-V 
开始 之 前 Hyper-¥ Wi -— y A 
服务 角色 Me dude REA 


注意 事项 
i 安装 此 角色 之 前 ， 应 确定 该 服务 器 上 要 用 于 设置 虚拟 网 络 的 网 络 连 接 。 
i 安装 Hyper-V 后 ， 可 以 使 用 Hyper-V 管理 器 创建 和 配置 虚拟 机 。 


其 他 信息 








图 2-30 设置 Hyper-V 
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添加 角色 向 导 - 
E 创建 虚拟 网 络 

开始 之 前 BILTERLRIERFHASSRUGOEIZ BEGUN SURE GIHLORIERUU HR ETE 
m ENA o SIRE SE D B EISE FEN ELE 
icr i 





网 络 适配器 Œ) : 


确认 
$ 本 地 和 连接 Broadcom NetLink (TM) Gigabit Ethernet 


(6) SEQ OHHNSE YN FOE 若 要 保留 一 个 网 络 着 配器 ， 请 不 要 选择 它 用 于 





2-31 创建 虚拟 网 络 






查看 WD Sow 帮助 0) 




































新 建 
[ 导入 虚拟 机 .… . 

*) Hyper-V 设置 ... 

EI 虚拟 网 络 管理 器 ... 

rÂ Gum... 

B uaa... 

(m) 停止 服务 

AC 暗 除 服务 器 

Q mif 

查看 » 
从 此 处 新 建 窗口 













选 定 的 虚拟 机 没有 快照 * 


erver 











图 2-32 Hyper- V 管理 器 


Hyper - V 的 管理 器 界面 与 VMware 的 客户 端 界 面 有 些 类 似 ， 右键 单 击 图 2-32 中 的 host 
name 节点 ， 可 以 创建 新 的 虚拟 机 。 需 要 注意 的 是 由 于 采用 半 虚 拟 化 ，Hyper -V 对 Windows f 
作 系 统 的 支持 比较 好 ， 对 于 Linux 暂时 只 支持 SUSE 与 Red Hat， 新 建 虚拟 机 如 图 2-33 所 示 。 





导入 虚拟 机 0D... 硕 盘 00. 





XE... 





Hyper-V 设置 G).. . 
虚拟 网 络 管理 器 (7).. . 





图 2-33 ”新建 虚拟 机 
本 节 围 绕 虚 拟 化 技术 重点 介绍 了 三 大 虚拟 化 提供 商 (Xen, VMware 以 及 微软 ) 的 虚拟 
化 产品 的 安装 以 及 使 用 。 内 容 比较 多 ， 如 果 搭 建 全 部 虚拟 化 平台 进行 测试 确实 要 花 不 少 工 
夫 。 读 者 不 妨 结合 自己 的 实际 工作 情况 挑选 一 个 常用 的 开发 平台 来 进行 学 习 。 
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另外 ， 虚 拟 化 软件 起 初 虽然 是 为 了 提高 系统 利用 率 而 产生 的 ， 但 它 实际 上 还 扮演 着 另 一 
个 角色 一 一 帮助 系统 实现 应 用 程序 兼容 ， 比 如 本 节 中 微软 Windows 7 中 的 XP Mode。 而 某 些 
系统 ， 比 如 苹果 的 Mae 0S， 就 利用 虚拟 化 软件 将 在 Windows 操作 系统 上 运行 的 程序 与 
Macintosh 无 颖 结合 。 

对 于 最 终 用 户 而 言 ， 特 别 是 企业 用 户 ， 一定 要 认 清 自己 的 需求 ,尽量 多 调查 几 种 虚拟 化 
产品 并 结合 自身 具体 情况 来 选择 。 同 时 ， 要 注意 到 虚拟 化 软件 越 来 越 多 的 与 操作 系统 紧密 集 
成 ， 因 此 选择 虚拟 化 软件 时 还 要 考虑 到 操作 系统 的 选择 。 


区 2 PXE 


在 上 一 节 ， 我 们 通过 实际 操作 对 虚拟 化 技术 与 相关 软件 有 了 一 个 较为 全 面 的 认识 。 读 者 
也 许 注意 到 了 配置 这 些 虚 拟 化 软件 还 是 需要 费 一 番 工 夫 的 。 对 于 维护 大 量 虚拟 化 操作 系统 的 
人 员 来 说 ， 配 置 少 则 几 十 台 ， 多 则 上 千 台 的 服务 器 。 单 您 人力 也 许 能 完成 ， 但 显然 工作 量 不 
会 小 。 如 何 才能 高 效 便捷 的 安装 主机 并 配置 所 需要 的 基础 操作 系统 以 及 虚拟 化 软件 成 为 迫切 
需要 解决 的 问题 。 

我 们 来 分 析 一 下 虚拟 化 软件 安装 的 共性 ， 除 了 免费 提供 给 用 户 使 用 的 Virtual PC 以 及 VM- 
ware Virtual Server 以 外 ， 所 有 企业 经 常 使 用 的 虚拟 化 软件 ESXi Server, Red Hat Xen 以 及 Win- 
dows Server 2008 全 部 与 操作 系统 绑 定 。 这 意味 着 用 户 只 要 安装 了 相应 的 操作 系统 ， 同 时 对 操 
作 系 统 做 必要 配置 就 可 以 部 署 虚拟 化 软件 。 所 以 首先 要 解决 操作 系统 的 自动 化 安装 问题 。 


2.2.1 PXE 简介 



























































PXE (Preboot Execute Environment) 是 Intel 公司 开发 的 “系统 预 启动 执行 环境 ”。 简 言 
之 PXE 系统 是 一 种 可 以 帮 用 户 在 仅 有 物理 网 络 连接 的 条 件 下 就 可 以 安装 操作 系统 的 工具 ， 
读者 会 不 会 觉得 这 与 使 用 普通 光盘 安装 有 些 不 一 样 ? 在 开始 介绍 PXE 的 相关 知识 之 前 ， 假 
设 我 们 有 一 台 服 务 器 ， 一 台 准 备 装 操 作 系 统 的 计算 机 ， 并 且 服 务 器 与 计算 机 之 间 用 网 线 连接 
在 了 一 起 。 如 果 我 们 通过 网 络 将 服务 器 上 的 光盘 镜像 安装 到 计算 机 上 ， 该 怎么 做 呢 ? ix 
个 问题 ， 我 们 来 看 一 下 PXE 的 工作 步骤 ( 见 图 2-34) 。 

1) 设置 计算 机 以 PXE 模式 启动 ， 具 体 设置 在 BIOS 中 。 

2) 计算 机 要 求 网 络 系统 动态 分 配 IP 地 址 给 它 (通过 DHCP) 。 


计算 机 要 求 网 络 系统 动 态 分 配 IP 地 址 给 它 





























DHCP 把 卫 地 址 分 配给 计算 机 DHCP 服务 器 
计算 机 再 次 请 求 DHCP 要 求 得 到 启动 方式 一 一 一 


网 卡 





服务 器 将 启动 程序 包 名 及 or ue TFTP | 
DN 服务 器 发 送 给 计算 机 
PXE 协议 
计算 机 下 载 户 动 程序 包 NBP_ — — —-| ”启动 服务 


TFTP 服务 
计算 机 使 用 NBP 引导 系统 ， 并 完成 安装 
PXE 客户 端 PXE 启动 服务 器 


K 2-34 PXE 工作 流程 
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3) DHCP 把 IP 地 址 分 配给 计算 机 。 

4) 计算 机 再 次 请 求 DHCP 要 求 得 到 启动 方式 。 

5) PXE 启动 服务 器 将 启动 程序 包 名 及 下 载 启动 程序 包 的 地 址 TFTP (trivial file transfer 
protocol) 服务 需 发 送 给 计算 机 。 

6) 计算 机 下 载 启 动 程序 包 NBP (Network Bootstrap Program) 。 

7) 计算 机 使 用 NBP 引导 系统 ， 并 完成 安装 。 


2.2.2 PXE 系统 的 组 成 及 配置 


根据 前 面 介绍 的 PXE 的 工作 方式 ， 可 以 看 出 要 配置 PXE 需要 DHCP, TFTP 以 及 启动 软 
件 包 。 下 面 以 Linux 系统 为 例 逐 个 介绍 。 

1. TFTP 服务 器 

TFTP (Trivial File Transfer Protocol， 简 单 文件 传输 协议 ) 是 TCP/IP 协议 族 中 的 一 个 用 
来 在 客户 机 与 服务 器 之 间 进 行 简 单 文件 传输 的 协议 。 由 于 此 协议 在 设计 的 时 候 是 进行 小 文件 
传输 的 ， 因 此 它 不 具备 通常 的 FTP 的 许多 功能 ， 它 只 能 从 文件 服务 器 上 获得 或 写 入 文件 ， 
不 能 列 出 目录 ， 也 不 进行 认证 。 在 Linux 系统 中 ， 可 以 通过 yum install tftp- server 命令 安装 
TFTP 服务 器 。 

编辑 /etc/xinetd. d/tftp 文件 ， 将 disable = yes WX disable = no， 如 代码 清单 2-1 所 示 。 

【代码 清单 2-1]】 

















service tftp | 
socket_type = dgram 
protocol = udp 
wait = yes 
user = root 
server = /usr/sbin/in. tftpd 
server_args = — s/tftpboot 
disable = no 
per. source = 11 
eps 2100 2 
flags = IPv4 
| 


使 用 命令 启动 TFTP 服务 ，Service xinetd start, 

2. 启动 软件 包 

NBP (Network Bootstrap Program) ， 这 里 将 用 到 著名 的 Syslinux， 它 是 一 个 功能 强大 的 引 
导 加 载 程序 。 一 旦 安装 完成 Syslinux 之 后 ，Syslinux 启动 程序 就 可 以 引导 各 种 基于 Linux 的 工 
H, IK MS-DOS/Windows 或 者 任何 其 他 操作 系统 。 在 Linux 系统 中 ， 用 户 也 可 以 通过 yum 
install syslinux 命令 安装 启动 软件 包 。 

安装 好 后 系统 将 启动 程序 pxelinux. 0 复制 到 tftp 根 目 录 下 : 

cp/ usr/ lib/syslinux/pxelinux. 0/tftpboot/ 

接 下 来 创建 /tftpboot/pxelinux. cfg/ 目 录 ， 该 目录 用 于 存放 客户 端的 配置 文件 
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[| root@ linux | # mkdir/tftpboot/ pxelinux. cfg 
默认 配置 文件 default, 文件 内 容 如 代码 清单 2-2 所 示 。 
【代码 清单 2-2】 








cat/tftpboot/pxelinux. cfg/default 
prompt 1 
default linux 


timeout 100 


label linux 
kernel vmlinuz 


append initrd = initrd. img ramdisk size 29216 noapic acpi = off 


3. DHCP 服务 器 

动态 主机 设置 协议 (Dynamic Host Configuration Protocol, DHCP) 是 一 个 局 域 网 的 网 络 协 
X, 采用 UDP 协议 工作 ， 主 要 用 途 就 是 给 内 部 网 络 或 网 络 服务 供应 商 自 动 分 配 IP 地 址 。 这 
也 是 为 什么 我 们 在 自动 安装 一 台新 的 操作 系统 时 ， 可 以 不 配置 网 络 参 数 ， 而 新 计算 机 确 能 通 
过 网 络 利 用 PXE 服务 的 原因 。 在 Linux 系统 中 ， 可 以 通过 yum install dhep 命令 安装 DHCP 服 
ordi. 

安装 好 DHCP 服务 器 后 ， 需 要 对 DHCP 服务 器 作 相应 配置 ; 

编辑 /etc/dhcpd. conf 文件 ， 如 代码 清单 2-3 所 示 。 

【代码 清单 2-3]】 



































vi/ etc/ dhepd. conf 

ddns-update- style interim; 

allow booting;# 定 义 能 够 启动 PXE 

allow bootp;# 定 义 支持 bootp 

next- server 192. 168. 0. 1; #TFTP Server 的 IP 地 址 
filename " pxelinux. 0" ;#NBP( 启动 程序 包 ) 
default- lease- time 2000; 





max- lease- time 7500 ; 
ping- check true; 
option domain- name- servers 192. 168. 0. 1; 
subnet 192. 168. 0. 0 netmask 255. 255. 255.0 
| 
range 192. 168. 0. 128 192. 168. 0. 220; 
option routers 192. 168. 0.1; 
option broadcast- address 192. 168. 0. 255; 
} 











注意 : TE/etc/dhepd. conf 配置 文件 中 文件 目录 是 相对 于 dtp. 的 根 目 录 (GA Ze tftp- 
boot), ， 所 以 文件 的 绝对 路 径 就 是 /tftpboot/pxelinux. 0 当然 也 可 以 指定 为 其 他 的 路 径 。 
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使 用 命令 启动 dhep 服务 


service dhcp start 

通过 前 面 的 讲解 可 以 看 出 ， 利 用 PXE 安装 计算 机 操作 系统 的 这 种 方式 更 适合 于 大 量 
算 机 自动 化 安装 操作 系统 的 情况 。 对 于 构建 拥有 大 量 计算 机 的 云 计算 基础 环境 而 言 ， 这 是 一 
种 不 可 缺少 的 技术 。 


|2. 3 负载 均衡 


本 节 将 学 习 如 何 通 过 软件 或 硬件 方法 ， 实 现 同 时 利用 多 台 计 算 机 来 提高 应 用 响应 速度 的 
方法 一 一 负载 均衡 。 

负载 均衡 是 一 种 将 任务 分 发 到 两 台 或 两 台 以 上 计算 机 ，CPU ,硬盘 等 资源 上 以 期 望 达到 
资源 的 优化 利用 ， 高 吞吐 以 及 快速 反馈 ， 同 时 避免 资源 载荷 过 大 的 方法 。 负 载 均衡 由 于 使 用 
多 个 资源 为 同一 种 应 用 分 发 任务 ， 在 一 定 程 度 上 增强 了 系统 的 鲁 棒 性 与 伸缩 性 ， 使 资源 之 间 
实现 了 备份 。 一 般 负 载 均衡 服务 是 由 特定 程序 或 者 硬件 设备 来 担当 的 ( 比如 多 层 交换 机 或 
者 DNS 服务 器 ) 。 


2.3.1 Tomcat 负载 均衡 


将 网 络 请 求 通过 负载 均衡 器 分 配给 更 多 的 服务 器 处 理 (通常 称 之 为 集群 ) ， 是 负载 均衡 
器 的 一 种 常见 应 用 。 我 们 常见 的 门户 网 站 、 网 络 通信 软件 、BT 下 载 网 络 等 都 采用 了 负载 均 
衡 技术 。 

对 于 提供 因特网 服务 的 网 络 应 用 来 说 ， 负 载 均衡 需 通 常 是 一 种 在 特定 端口 监听 外 部 请 求 
的 软件 程序 。 负 载 均衡 回 将 请 求 发 送 给 某 一 台 服 务 器 ， 而 服务 器 通过 响应 负载 均衡 器 来 处 理 
来 自 因特网 的 请 求 。 从 用 户 角度 而 言 ， 他 们 并 不 知道 自己 的 请 求 被 哪 台 服 务 器 所 处 理 。 这 样 
的 设计 将 任务 处 理 服务 器 集群 与 用 户 有 效 地 隔离 开 来 。 除 了 可 以 通过 集群 提供 更 多 资源 以 高 
效 的 响应 请 求 之 外 ， 客 户 端 无 法 了 解 到 集群 服务 器 的 网 络 结构 ， 一 定 程度 上 增加 了 安全 性 。 
另外 ， 可 以 通过 向 集群 增加 服务 器 的 方式 〈 增 加 计算 机 ， 并 在 负载 均衡 需 中 稍 作 配置 ) i 
速 增强 对 客户 端的 响应 能 力 。 比 如 在 第 1 章 中 ,我 们 提 到 过 用 负载 均衡 器 将 用 户 从 浏览 咒 中 
发 出 的 HTTP 请 求 分 发 到 不 同 的 应 用 服务 器 上 从 而 提高 用 户 响应 速度 。 

当然 ， 负 载 均 衡器 也 有 不 能 工作 的 时 候 ， 比 如 整个 集群 的 计算 资源 全 不 可 用 ,在 这 样 的 
情况 下 ， 就 要 考虑 是 不 是 应 该 将 负载 均衡 器 再 进行 一 次 备份 ,将 请 求 转发 给 备份 负载 均 
衡器 。 

下 面 来 学 习 一 种 软件 负载 均衡 器 的 使 用 方法 。 

首先 ， 需 要 安装 Apache Http 服务 器。 可 以 从 http://httpd. apache. org/ 下 载 Apache Http 
服务 器 。Apache Http 服务 器 支持 Windows 与 Linux 操作 系统 。 在 这 里 它 负 责 接收 客户 端的 
Http 请 求 。 然 后 通过 Apache Tomcat connector 将 Http 请 求 转发 给 Tomcat 服务 器 。 

1. Apache Tomcat connecter 

Apache Tomcat Connecter 是 Apache 为 Tomcat 集群 而 开发 的 一 种 负载 均衡 器 。 它 的 工作 
原理 是 将 Apache Http 服务 器 接收 的 用 户 请 求 转发 给 多 个 Tomcat 服务 器 。 根 据 前 面 的 描述 ， 
相信 大 部 分 读者 可 能 会 想到 创建 多 个 虚拟 机 ， 在 虚拟 机 或 者 多 台 计 算 机 中 启动 Tomcat 服务 
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云 计 算 : 应 用 开发 实践 


器 ， 使 用 Apache Http 服务 器 以 及 Apache Tomcat Connecter 将 用 户 请 求 转发 给 这 些 Tomcat Jl 
务 器 。 这 种 方案 叫做 服务 器 水 平 集 群 化 ， 如 图 2-35 所 示 。 





Tomcat 2 < Tomcat 3 





2. 配置 水 平 集群 化 


机 器 1 机 器 2 机 器 3 
图 2-35 水 平 集群 化 


从 http ://tomcat. apache. org/connectors- doc/ 下 载 Apache Tomcat Connecter, Apache Tom- 
cat Connecter 有 三 个 版 本 ， 分 别 供 Apache http 服务 器 ， 微 软 HS 服务 器 以 及 Oracle iPlanet 服 
务 器 使 用 ， 其 中 供 Apache Http 服务 器 使 用 的 叫做 Mod. jk. ÆHF Apache Http 服务 器 为 例 





作 进 一 步 介绍 o 





将 下 载 到 的 mod, jk-1. 2. 31- httpd-2. 0. 52. so 文件 重 名 为 mod. jk. se， 复制 到 Apache 安装 
目录 下 的 modules 文件 夹 。 使 用 文本 编辑 工具 编辑 Apache 安装 目录 下 的 conf 文件 夹 中 的 ht- 





tpd. conf 文件 。 加 入 如 下 配置 ， 如 代码 清单 2-4 所 示 。 
【代码 清单 2-4】 


LoadModule jk. module modules/mod. jk. so 

JkWorkersFile " Apache 安装 目录 \conf\workers. properties" 
JkLogFile " logs/mod jk. log" 

JkLogLevel error 

JkMount/cluster loadbalancer 


JkMount/cluster/ * loadbalancer 


安装 好 Apache Tomcat Connecter 后 ， 我 们 需要 配置 可 使 用 的 Tomcat 服务 咒 ， 由 负载 均 


衡 右 来 进行 调度 。 
这 里 给 出 workers. properties 文件 的 基本 配置 ， 如 代码 清单 2-5 所 示 。 
【代码 清单 2-5】 


# 工 作者 列表 ,有 四 个 ,分 别 是 三 个 Tomcat 服务 器 以 及 一 个 三 负载 均衡 器 
worker. list = tomcatA ,tomcatB , tomcatC , loadbalancer 

Tomcat 服务 器 1 

worker. tomcat1. port = 8009 

worker. tomcatl. host = 192. 168. 1. 1 

worker. tomcatl. type = ajp13 


worker. tomcatl. lbfactor = 1 


#Tomcat 服务 器 2 
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worker. tomcat2. port = 8009 

worker. tomcat2. host = 192. 168. 1. 2 
worker. tomcat2. type = ajp13 

worker. tomcat2. lbfactor = 1 
#Tomcat 服务 器 3 

worker. tomcat3. port = 8009 

worker. tomcat3. host = 192. 168. 1. 3 
worker. tomcat3. type = ajp13 

worker. tomcat3. lbfactor = 1 

# 负 载 均衡 需 

worker. loadbalancer. type = Ib 
worker. loadbalancer. balanced, workers = tomcatl , tomcat2 , tomcat3 


worker. loadbalancer. sticky. session = 1 




















使 用 水 平 集群 化 可 以 利用 多 台 计 算 机 的 计算 能 力 ， 但 如 果 使 用 的 计算 机 不 是 虚拟 机 ， 而 
是 一 台 拥 有 多 核 处 理 器 的 服务 器 ， 单 单 启动 一 个 Tomcat 服务 器 显然 对 计算 机 处 理 器 无 法 充 
分 利用 。 这 时 候 可 以 采用 垂直 集群 化 的 方式 在 同一 台 计 算 机 上 启动 多 台 Tomcat 服务 器 来 充 
分 利用 计算 资源 ， 如 图 2-36 所 示 。 















































Apache 服务 器 


图 2-36 垂直 集群 化 
现在 问题 来 了 ， 垂直 水 平 集群 化 需要 在 本 地 启动 多 个 Tomcat 服务 器 ， 而 Tomcat 服务 器 









































启动 时 一 般 使 用 默认 的 端口 8080。 两 个 或 者 两 个 以 上 的 Tomcat 服务 器 ， 首 先端 口 不 能 冲突 ， 
然后 才能 运行 在 同一 台 计算 机 上 。 

3. 配置 Tomcat 垂直 集群 化 

首先 需要 配置 Tomcat 服务 器 的 端口 ， 如 果 用 户 希 望 在 同一 台 计 算 机 上 启动 两 个 Tomcat 
服务 器 ， 则 可 以 将 第 二 个 Tomcat 服务 器 的 转发 端口 在 Tomcat 一 Conf 一 server. xml. 文件 中 由 
8009 改 为 8109。 

以 下 是 workers. properties 文件 的 配置 ， 如 代码 清单 2-6 所 示 : 

【代码 清单 2-6】 




















worker. list = tomcatl ,tomcat2 , tomcat3 , loadbalancer 
#Tomcat 服务 器 1 使 用 8009 默认 端口 


worker. tomcatl. port = 8009 
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worker. tomcat1. host = localhost 
worker. tomcatl. type = ajp13 
worker. tomcatl. lbfactor = 1 
#Tomcat 服务 器 2 使 用 8109 端口 
worker. tomcat2. port =8109 








worker. tomcat2. host = localhost 

worker. tomcat2. type = ajp13 

worker. tomcat2. lbfactor = 1 

ifTomcat 服务 器 3.. . 

# 人 负载 均 衡 需 

worker. loadbalancer. type = Ib 

worker. loadbalancer. balanced, workers = tomcatl , tomcat2 , tomcat3 


worker. loadbalancer. sticky. session = 1 





使 用 Apache Tomcat connector 极 大 提高 了 应 用 响应 速度 。 在 实际 工作 中 除了 可 以 使 用 这 
类 软件 作为 负载 均衡 器 之 外 ， 很 多 的 交换 机 也 提供 依据 TCP/UDP 应 用 端口 号 来 分 发 数据 的 
功能 。 我 们 可 以 把 它 理解 为 在 交换 机 中 安装 了 负载 均衡 软件 ， 其 工作 方式 与 之 前 介绍 的 软件 
负载 均衡 方式 类 似 。 


2.3.2 DNS 负载 均衡 


除了 上 面 介绍 的 负载 均衡 技术 之 外 ， 常 用 的 负载 均衡 技术 还 有 门户 网 站 一 般 所 采用 的 循 
环 DNS 方式 (Round Robin DNS) , 

循环 DNS 负载 均衡 器 是 将 多 个 服务 器 的 IP 地址 绑 定 到 一 个 固定 的 域名 上 ;由 客户 端 
(浏览 器 ) 选择 连接 哪 一 个 服务 器 。 举 一 个 大 家 比较 常见 的 门户 网 站 ， 比 如 新 浪 。 我 们 可 以 
使 用 nslookup 命令 来 查看 新 浪 服 务 器 将 域名 绑 定 到 了 哪些 服务 器 上 。 新 浪 首页 的 负载 均衡 服 
务 器 清单 如 代码 清单 2-7 所 示 。 

【代码 清单 2-7】 





























nslookup www. sina. com 

Name: libra. sina. com. cn 

Addresses; 202. 108. 33. 99 
202. 108. 33. 70 
202. 108. 33. 71 
202. 108. 33. 72 
202. 108. 33. 73 
202. 108. 33. 74 
202. 108. 33. 75 
202. 108. 33. 76 
202. 108. 33. 77 
202. 108. 33. 78 
202. 108. 33. 79 
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202. 108. 33. 80 
202. 108. 33. 81 
202. 108. 33. 82 
202. 108. 33. 83 
202. 108. 33. 85 
Aliases: www. sina. com 
us. sina. com. cn 
news. sina. com. cn 


jupiter. sina. com. cn 


通过 测试 ， 可 以 发 现 新 浪 服务 器 被 绑 定 到 libra. sina. com. cn。 然 后 libra. sina. com. cn 3 
现 了 DNS 负载 均衡 技术 ， 将 libra. sina. com. cn 解析 到 202. 108. 33. 99 等 IP a 17 个 IP 
分 布 在 笔者 所 在 区 域 的 多 台 前 台 服 务 器 上 。 

我 们 接着 试验 一 下 新 浪 新 闻 频 道 的 服务 需 是 怎样 实现 负载 均衡 的 。 新 浪 新 闻 频 道 的 负载 
均衡 服务 需 清 单 如 代码 清单 2-8 所 示 。 

【代码 清单 2-8】 





























nslookup news. sina. com. cn 
Name: libra. sina. com. cn 
Addresses: 202. 108. 33. 82 
202. 108. 33. 83 
202. 108. 33. 85 
202. 108. 33. 86 
202. 108. 33. 87 
202. 108. 33. 88 
202. 108. 33. 89 
202. 108. 33. 90 
202. 108. 33. 91 
202. 108. 33. 92 
202. 108. 33. 94 
202. 108. 33. 95 
202. 108. 33. 96 
202. 108. 33. 97 
202. 108. 33. 98 
202. 108. 33. 99 
Aliases: news. sina. com. cn 


jupiter. sina. com. cn 


通过 测试 可 以 看 出 ， 新 浪 新 闻 频 道 的 服务 器 使 用 了 与 主页 面相 同 的 服务 央 配 置 。 

笔者 在 其 他 地 区 也 使 用 相同 的 方法 察看 新 浪 的 服务 器 配置 ， 它 们 都 对 应 域名 
libra. sina. com. en, 1H IP 地 址 在 不 同 地 区 并 不 相同 ， 说 明 新 浪 针 对 不 同 区 域 的 用 户 使 用 不 同 
的 集群 服务 。 
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下 面 再 来 看 看 其 他 网 站 ， 比 如 网 易 是 怎么 实现 负载 均衡 的 。 网 易 主 页 的 负载 均衡 服务 需 


清单 如 代码 清单 2-9 所 示 。 
【代码 清单 2-9】 





nslookup www. 163. com 
Name; 163. xdwscache. glb0. lxdns. com 
Addresses: 60. 28. 9. 50 
60. 28. 9. 55 
Aliases; www. 163. com 
www. cache. wangsu. netease. com 
www. 163. com. Ixdns. com 


www. 163. z. Ixdns. com 








通过 命令 可 以 看 出 ， 在 笔者 所 在 区 域 ,， 网 易 只 提供 了 两 台 服 务 右 为 首页 面 实现 负载 均 
衡 。 我 们 再 通过 nslookup 命令 来 察看 新 闻 频 道 。 网 易 新 闻 频 道 的 负载 均衡 服务 器 清单 如 代码 
清单 2-10 所 示 。 

【代码 清单 2-10】 














nslookup news. 163. com 

Non- authoritative answer: 

Name: cc00063. h. cnc. ccgslb. net 

Address; 112. 90. 148. 41 

Aliases: news. 163. com 
news- biz. cache. chinacache. netease. com 
channel. cache. 163. ccgslb. net 


channel. cache. 163. enc. ccgslb. net 








从 以 上 代码 可 以 看 出 ， 网 易 新 闻 频道 使 用 了 不 同 于 主页 的 主机 服务 器 ， 在 笔者 所 在 区 域 
只 有 一 台 服 务 絮 为 新 闻 服 务 。 

这 两 种 负载 均衡 方式 各 有 各 的 好 处 ， 新 浪 的 负载 均衡 方式 ， 管 理 比较 统一 ， 但 如 果菜 一 
项 业务 很 耗费 资源 的 话 ， 就 有 可 能 影响 其 他 业务 。 网 易 的 负载 均衡 很 灵活 ， 根 据 业 务 分 配 不 
同 的 服务 器 ， 业 务 之 间 不 会 互相 影响 ,但 管理 起 来 就 会 比较 复杂 。 从 客户 体验 角度 来 看 ， 这 
两 种 负载 均衡 方式 效果 都 不 错 ， 笔 者 所 在 区 域 访问 它们 都 很 快捷 。 所 以 需要 根据 自己 的 实际 
业务 来 决定 应 该 使 用 哪 种 负载 均衡 方式 。 


|2. 4 构建 企业 laas 环境 


通过 前 面 的 描述 ， 我 们 学 习 使 用 了 虚拟 化 ，PXE 以 及 负载 均衡 相关 的 技术 和 软件 。 现 
在 让 我 们 重新 考虑 如 何 合理 利用 这 些 技术 与 软件 来 搭建 企业 Iaas 环境 。 


2.4.1 需求 分 析 
在 本 章 开始 时 候 ， 曾 提 到 某 企业 需要 解决 计算 机 资源 管理 以 及 按 需 分 配 的 问题 。 维 护 人 
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员 主 要 遇 到 三 个 问题 需要 解决 。 

问题 一 : 将 对 计算 资源 要 求 较 小 的 应 用 程序 合并 到 同一 台 计 算 机 处 理 。 

问题 二 : 将 员工 的 计算 机 纳入 到 非 关键 应 用 程序 计算 资源 中 。 

问题 三 : 监控 所 有 计算 资源 的 使 用 情况 ， 并 根据 实际 需要 分 配 计算 资源 。 
通过 本 章 前 半 部 分 的 学 习 ， 我 们 现在 试 着 用 学 到 的 知识 解决 这 些 问题 。 

针对 问题 一 ， 可 以 在 服务 器 上 启动 多 台 虚 拟 机 ， 让 占用 系统 资源 较 少 的 应 用 程序 使 用 虚 
拟 机 。 这 样 就 可 以 把 空 出 来 的 计算 资源 给 更 需要 的 应 用 程序 使 用 。 而 如 果 网 络 应 用 响应 速度 
仍然 很 慢 ， 则 可 以 利用 负载 均衡 技术 组 建 集群 来 提高 响应 速度 。 

针对 问题 二 ， 同 样 可 以 使 用 虚拟 化 技术 ， 可 以 为 每 一 台 用 户 的 计算 机 装 上 虚拟 化 软件 ， 
如 果 提 供 虚 拟 化 技术 的 操作 系统 员工 不 喜欢 ， HL DAEEPETT PEL E I PATE TERIERA 
统 ， 供 用 户 使 用 。 同 时 ， 可 以 利用 PXE 技术 自动 化 安装 多 台 用 户 计算 机 。 当 然 ， 这 里 要 考 
虑 到 用 户 现 有 资料 的 移植 问题 ， 故 移植 前 要 做 好 充分 的 备份 工作 。 

针对 问题 三 ， 需 要 一 个 监控 系统 ， 它 可 以 同时 监控 物理 机 和 虚拟 机 。 同 时 ， 为 了 满足 各 
种 应 用 的 需要 ， 各 部 门 可 以 向 系统 提出 资源 分 配 请 求 ， 系 统 根据 需求 将 资源 分 配给 具体 的 应 
用 。 这 就 需要 设计 一 套 IT 资源 管理 系统 。 


2.4.2 系统 架构 


通过 以 上 的 需求 分 析 ， 针 对 所 提出 的 问题 ， 以 及 基本 的 解决 方案 ， 可 将 该 组 织 的 IT 资 
源 管理 系统 分 为 : 计算 资源 、 计 算 资源 管理 软件 和 及 业务 应 用 管理 三 部 分 。 该 系统 的 架构 如 


图 2-37 所 示 。 
充分 利用 现 有 计算 资源 


各 种 业务 应 用 
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图 2-37 计算 资源 管理 架构 图 





2.4.3 概要 设计 


(1) 基础 环境 构建 

1) 搭建 PXE 系统 ， 以 方便 配置 主机 。 

2) IT 管理 部 门 在 现 有 计算 资源 系统 上 安装 虚拟 化 软件 。 

3) 通过 自主 开发 或 者 使 用 第 三 方 开发 的 主机 管理 软件 来 管理 IT 资源 。 
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(2) 虚拟 化 软件 选择 

本 章 介绍 了 很 多 虚拟 化 软件 产品 ， 它 们 有 各 自 的 优 缺 点， 作为 企业 基础 架构 ， 一 般 要 莱 
顾 功 能 、 可 靠 性 以 及 成 本 因素 ， 同 时 还 要 具有 一 定 的 前 脆性 。 各 种 虚拟 化 技术 都 在 不 断 发 展 
中 ， 而 现在 的 虚拟 化 产品 在 虚拟 化 标准 上 并 不 相互 兼容 ， 如 果 只 采用 某 一 种 虚拟 化 技术 作为 
企业 唯一 的 虚拟 化 解决 方案 ， 企 业 在 未 来 可 能 要 根据 特定 虚拟 化 产品 来 制订 IT 资源 管理 方 
案 。 因 此 ， 选 择 两 种 以 上 的 虚拟 化 技术 对 于 企业 来 说 较为 稳妥 。 企 业 可 以 考虑 使 用 开源 虚拟 
化 产品 〈 比 如 Xen) 和 收费 虚拟 化 产品 (比如 Vmware, Hyper-V) 组 合 的 方式 来 满足 自身 
需要 。 

(3) 工作 流程 

根据 需求 ， 该 企业 需要 根据 各 部 门 的 具体 资源 需求 ， 分 配 相 应 资源 。 

其 工作 流程 为 : 

1) 应 用 程序 使 用 者 请 求 资源 。 

2) 系统 管理 员 审 查 请 求 。 

3) 安装 启动 虚拟 机 。 

4) 应 用 程序 使 用 者 使 用 资源 。 


2.4.4 动手 搭建 Iaag 环境 


市 场 上 存在 很 多 laas 管理 产品 。 比 如 VMware 公司 的 veenter, 微软 公司 的 Microsoft Sys- 
tem Center, Red Hat 公司 的 Ovirt, Platform Computing 公司 的 ISF。 这 些 产品 都 各 具 特 色 ， 由 
于 篇 幅 所 限 ， 本 书 选 择 Platform Computing 公司 的 ISF 来 搭建 laas 环境 。 

1. Platform ISF 介绍 

Platform ISF 是 Platform Computing 公司 的 laaS 产品 。 该 公司 由 一 位 华人 创立 ， 主 要 业务 是 
大 规模 分 布 式 计算 。 

2. ISF 架构 

Platform ISF 通过 整合 物理 资源 和 虚拟 资源 创建 了 一 个 共享 的 计算 基础 架构 ， 该 架构 可 
以 通过 智能 分 配 负载 和 资源 相关 的 调度 算法 提供 应 用 程序 运行 环境 。 

ISF 支持 多 种 虚拟 机 技术 (VMware ESX, MS Hyper-V, Citrix Xen, Red Hat KVM, Sun 
Container 等 ) Provisioning 技术 (IBM xCAT, HP Opsware, KUSU 45) 以 及 公共 云 资源 服 
务 。 它 最 大 的 特色 是 在 这 之 上 为 应 用 提供 与 资源 相关 的 调度 算法 和 资源 申请 等 服务 。 

之 所 以 介绍 ISF， 主 要 是 它 同时 支持 Xen, VMware, KVM 等 多 种 虚拟 化 技术 ， 且 在 软件 
中 提供 了 比较 好 的 TT 管理 界面 。 是 较为 成 熟 的 商业 软件 ， 有 较 好 的 商业 支持 ， 同 时 满足 用 
户 的 基本 需求 。 

3. 下载 安装 ISF 

ISF 提供 30 天 的 免费 评估 使 用 ， 可 以 从 http://www. platform. com 申请 下 载 评 估 软 件 。 笔 
者 拿 到 的 是 ISF 2.2 版 本 的 Linux 安装 文件 ， 支 持 Red Hat Xen 虚拟 化 (笔者 使 用 64 位 的 
Red Hat 5. 4 服务 侣 作为 安装 环境 ) ， 包 括 : 

































































isf2_2 Manager_linux2. 6-x86. 64. bin 一 一 ISF 主 服务 器 安装 包 
isf2. 2 Agent, linux2. 6-x86_64. bin 一 一 虚拟 化 服务 器 安装 包 
license. dat 一 一 注册 码 文件 
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安装 ISF， 需 要 在 环境 变量 中 指定 注册 码 文 件 ， 如 代码 清单 2-11 所 示 。 
[ 87$ 8 2-11] 


export LICENSEFILE = /home/ skater/ license. dat 
export MASTERHOST = skaterTest 

export CLUSTERADMIN = root 

export CLUSTERNAME = cloudTest 


在 主 服务 器 上 使 用 linux shell 运行 安装 包 isf2 2Manager linux2. 6-x86_64. bin 即 可 开始 安 
装 。 需 要 注意 的 是 ， 在 安装 过 程 中 ISF 安装 包 会 提示 用 户 准备 数据 库 ， 默 认 情 况 下 ISF 会 安 
装 Oracle 的 免费 版 本 。 在 默认 安装 模式 下 ，ISF 会 提示 重启 计算 机 。 重 启 之 后 ISF 会 被 自动 
启动 。 用 户 可 以 通过 浏览 网 站 http ://127. 0. 0. 1:8080 来 访问 ISF 的 登录 界面 。 默认 用 户 名 : 
Admin， 密 码 : Admin, ISF 的 登录 界面 如 图 2-38 所 示 。 


Platfornr 





Platform 
ISF 


Log on to Platform ISF 


User Name: 
Password: 


图 2-38 ISF 登录 界面 


由 于 笔者 使 用 Red Hat Xen， 故 还 需要 在 Red Hat Xen 虚拟 化 服务 器 上 安装 虚拟 化 服务 
器 安装 包 。 步 又 与 ISF 主 服务 器 类 似 ， 但 不 需要 安装 数据 库 。 

设置 安装 环境 变量 ， 如 代码 清单 2-12 所 示 。 

【代码 清单 2-12 】 


export LICENSEFILE = /home/skater/license. dat 


export MASTERHOST = skaterTest #ISF 主 服务 器 的 主机 名 称 
export CLUSTERADMIN = root 


export CLUSTERNAME = cloudTest 


i51] isf2 2Agent linux2. 6-x86. 64. bin 安装 虚拟 化 服务 器 安装 包 。 


这 里 一 定 要 注意 ， 虚 拟 化 服务 器 与 ISF 主 服 务 器 之 间 需 要 通过 主机 名 来 互相 访问 。 和 否则 
虚拟 化 服务 器 将 无 法 正常 运行 。 


云 计算 : 应 用 开发 实践 


4. Platform ISF 管理 界面 介绍 

创建 完 基于 Platform ISF 的 laas 环境 后 ，ISF 主 服务 器 的 主机 名 为 skaterTest， 虚 拟 化 服 
务 需 的 主机 名 为 qxutest， 机 群 名 称 为 cloudTest。 

现在 ， 通 过 http://skaterTest:8080 登录 ISF 管理 界面 ， 如 图 2-39 所 示 。 

















lan 资源 中 心 Cockpit View APB: Admin 退出 | 物理 贰 硅 : qxutest 
j Sara Cockpit view EERE Policies Alarm Definitions IP Pools 事件 [21-44 性 能 [4 4 
Ll Applications Apr 17,2011 21:00:43 CST Refresh [V] Auto C ais 
a% PEE | SERERE I I jar 17,2011 20:21:51 CST. WARN Host Monitor 
EB invertory ig 区 域 ~ 运行 停止 忠 务 个 教 wA CPU(%) [Apr 17,2011 20:21:51 CST INFO Host Monitor 
|V| Defaut 0 piim} E—] |Apr 17,2011 20:23:35 CST. INFO Host Monitor 








© Citrix XenServer Resources 

= Š xen Virtualized Resources 
BD qxutest 

K kv M Resources 

E vmware Resources 

GB Pc 
B i rts & Chargeback A 

€ System 

H » Access Control 

Adapter 











内 存 (3%) 











Fa E27] & 成 相机 主机 名 PER dé 7 CPUGO) 
] © machine 2 0412045945570 - - Off 





图 2-39 ISF 管理 界面 





为 便于 讲解 ， 笔 者 将 ISF 管理 界面 分 为 A，B，C，D, 五 个 区 域 。 

A 区 域 是 资源 管理 导航 树 ， 利 用 它 可 以 快速 定位 需要 查找 的 资源 。 在 导航 树 中 用 户 们 可 
以 看 到 机 群 cloudTest 下 有 一 个 叫做 qxutest 的 资源 (也 就 是 之 前 安装 isf2_2Agent_linux2. 6- 
x86_64. bin 的 计算 机 ) 。 

B 区 域 是 资源 中 心 窗口 ， 在 该 窗口 中 可 以 查看 管理 的 应 用 程序 ， 以 及 资源 的 使 用 情况 报 
表 。 同 时 可 以 定义 IP 资源 池 以 及 资源 报警 策略 。 

C 区 域 是 区 域 管理 窗口 ， 在 ISF 中 物理 资源 和 应 用 程序 可 以 按照 用 户 的 需要 划分 为 不 同 
区 域 。 

D 区 域 是 详细 信息 窗口 ， 当 单 击 C 窗口 中 的 某 一 个 物理 资源 或 者 应 用 程序 时 ，D 区 域 就 
会 显示 该 物理 资源 或 应 用 程序 的 详细 信息 。 

E 区 域 是 状态 窗口 ， 通 过 该 窗口 用 户 可 以 查看 某 一 个 应 用 或 者 虚拟 机 的 运行 状况 ，ISF 
通过 日 志 、 事 件 、 用 户 自 定义 报警 信息 以 及 性 能 报表 (需要 另外 安装 报表 组 件 ) 等 方式 向 
用 户 提供 综合 状态 信息 。 

5. 使 用 NFS 存储 虚拟 机 文件 

针对 Red Hat Xen, ISF 提供 了 NFS 和 LVM 两 种 存储 虚拟 机 文件 的 方式 。 

笔者 比较 喜欢 使 用 NFS 方式 来 存储 虚拟 机 文件 ， 主 要 是 因为 其 配置 简单 ， 并 且 虚 拟 机 
文件 可 以 在 多 台 计 算 机 之 间 共 享 。 

(1) 配置 NFS 服务 器 

创建 共享 文件 目录 

mkdir ~ p/data/nfspublic 
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打开 文件 


/etc/exports /data/nfspublic * (rw, no root squash, sync, insecure) 

重启 nfs 服务 

service nfs restart 

(2) 在 ISF 中 使 用 NFS 存储 类 型 来 存储 文件 

我 们 还 需要 设置 虚拟 化 服务 器 所 使 用 的 存储 类 型 ， 以 便 存储 虚拟 机 文件 。 登 录 ISF 主 服 
务 器 ， 用 编辑 带 打 开 文件 。 

/opt/ platform/virtualization/conf/ Advanced V MOConfig. xml 

修改 RHXenStorageType 为 NFS。 

< RHXensStorageType > NFS < /RHXenStorageType > 

修改 完成 后 进入 目录 /opt/platform， 运 行 source profile. platform 初始 化 ISF shell 环境 


< EL 
变量 。 


使 用 ISF shell 重新 启动 ISF 相关 服务 。 

egosh service stop all 

egosh service start all 

(3) Æ ISF 中 挂 载 NFS 共享 文件 目录 

依次 单 击 mventory 一 Xen Virtualized Resources 一 Storage 一 存储 库 ， 如 图 2-40 所 示 。 


Hosts VMS Templates Resource Groups Storage 





Storage Type | Storage Repositories 


此 列表 吕 示 所 有 潍 加 到 系统 的 存储 库 。 这 些许 储 库 证 储 在 群集 中 通过 每 个 KYM 主 机 区 训 的 谋 杞 机 和 和 模版 的 图 像 - 
点 击 存储 库 查 乔 存 储 库 连接 到 的 主机 列表 - 


st X 
存储 库 "HFSStorage" Bi ME - 








名 称 位置 状态 总 (MB) 可 用 的 (MB) 








图 2-40 添加 NFS 存储 


设置 NFS 参数 ， 如 图 2 -41 所 示 。 








* AIR HE 
RMF RE 
S5 NFSStorage 
E'G nfs:fiqxutest/datainfspublic 
NFS Storage 
KA 
` 
eg 关闭 | 

















图 2-41 设置 NFS 存储 参数 


云 计算 : 应 用 开发 实践 


成 功 添加 NFS 存储 库 后 ， 会 显示 如 图 2-42 所 示 。 
Hosts VMs Templates Resource Groups Storage Cu————————ÀX!!— À—Á[ 


Storage Type l Storage Repositories 





此 列表 吕 示 所 有 汇 加 到 系统 的 存储 库 。 XX EARE BE RP A RAKIM X ELI E GIR OAR R 
点 击 存储 库 查 看 存储 库 连 榜 到 的 主机 列表 - 





E X 
名 称 po d 状态 & (MB) 可 用 的 (MB) 
NFSStorage nfs: fiqxutestidatainfspublic OK 429075 375877 








图 2-42 ”添加 存储 成 功 库 

6. 使 用 ISF 新 建 虚拟 机 

ISF 通过 模板 来 创建 虚拟 机 ， 而 虚拟 化 服务 器 则 可 以 将 虚拟 机 转化 为 模板 供 ISF 使 用 。 
针对 Red Hat Xen, ISF 暂时 不 提供 通过 光盘 创建 虚拟 机 的 工具 。 用 户 可 以 使 用 前 面 提 到 的 
virt- manager 事先 创建 好 自己 需要 的 虚拟 机 ， 并 配置 Tomcat 等 软件 。 同 时 建议 安装 isf 自 带 的 
vmtools (安装 包 在 ISF 主 服务 需 的 /optplatformyvirtualization/4. 1 文件 夹 下 ) ， 该 工具 可 以 帮 
助 用 户 在 创建 虚拟 机 的 同时 设置 网 络 参数 ( 比如 I 了 P) ， 并 可 以 收集 更 多 关于 虚拟 机 的 信息 。 

创建 好 虚拟 机 后 ， 用 户 可 以 通过 资源 管理 导航 树 找到 新 创建 的 虚拟 机 ， 如 图 2-43 
所 示 。 


— & Resource Center qxutest > VMs 


— G) cloudTest 
b qxutest 
a Applications 
— & Accounts & Users 
时 SampleAccount 
rem Inventory 
O Citrix XenServer Resources 
—X Xen Virtualized Resources 




















d Mh Paon wras 


图 2-43 新 创建 的 虚拟 机 
单 击 “ 操 作 ” 一 “转换 为 模板 ”， 并 将 其 转化 为 模板 ， 如 网 2-44 所 示 。 












































— æ Resource Center qxutest > VMs 
=E cloudTest 
b qxutest 
国 Applications 操作 
= & accounts & Users 
_ Ê SampleAccount Va scel 4 TESTA Pi 
— E Inventory [] S v 
© Citrix XenServer Resources 
86 xen Vrtusized Resources ma 
E D mE N VMTools Bit Se Ai GNET! 
KYM Resour 
(Si vmware Resources YMTools Installed?: Yes - 
E Pem 
国 Reports & Chargeback 
Epo] System New Template Name: ISF Template] 
$ Access Control 
d Adapters HUE: 各 困 VMTools ICE WIL BEL EMi EEK LZ Ux ENER ARMEE 
RINE S E sh B. Platform ISF Ri ER Bé fl (x rhe. 
HERRA 
sm S 2s 











图 2-44 将 现 有 虚拟 机 转化 为 模板 
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创建 好 的 模板 可 以 在 Xen Virtualized Resources Template 中 找到 ， 如 图 2-45 所 示 。 


E Ls Resource Center Xen Virtualized Resources » Templates 
a8 cloudTest 
[b qxutest 
国 Applications 
>r st 
= X accounts & Users 
Ê SampleAccount m 
£ ampleAccoui EH 


9 


Templates Resource Groups. Storage 




















= E Inventory 
ISFTemplate 
@ Citrix XenServer Resources 








à qxutest 





2-45 创建 好 的 模板 


用 户 也 可 以 通过 模板 创建 虚拟 机 ， 依 次 单 击 “ 操 作 ” 一 “创建 机 器 ” ， 如 图 2-46 所 示 。 














set X 
() Mozilla Firefox N koba- 
L| http;//172.17.23.51:8080/vmgui/overview/toRhelSInstallVM.action?hostIdz &templateId-c7a48b9a-e10d-5131-13d2-. ` xd 
所 选 模板 已 经 交 装 废 相机 工具 . i 
GARIE 
KE 
模板 ISFTemplate v 
WES 0 FistyM E 
Ask (5 
内 存 (MB) 256 Er 
CPUS (5 1 
高 可 用 性 (从 ar—EmEKRHAN v 
Lid RETHANS v 
网 络 


Configure the YM's network settings (optional). Provide a host name and IP address pair, or provide only one of them. 


E.A | —( 5 L — 
m | D 























图 2-46 使 用 模板 创建 虚拟 机 





虚拟 机 创建 好 后 ， 可 以 在 Xen Virtualized Resources VMs 中 看 到 ， 如 图 2-47 所 示 。 


= æ Resource Center Xen Virtualized Resources > VMs 
[3 cioudTest 
& qxutest 
国 Applications 
— S Accounts & Users 
- 2. SampleAccount A 3cpl 4 RUNERNE 
— E Inventory iJ, FirstVM E 1» 
GO Citrix XenServer Resources " m 
Elfen virtualized Resources| 
b qxutest 


Templates Resource Groups Storage 









































2-47 创建 好 的 虚拟 机 


7. 创建 IP 资源 池 
ISF 提供 自动 设置 IP 地 址 的 功能 ， 在 Resource Center 一 IP Pools 中 单 击 Create 按钮 可 以 
新 建 一 个 IP 资源 池 ， 如 图 2-48 所 示 。 
57 
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| (8) Create IP Pool - Mozilla Firefox EJ 


Ll http://172.17.23.51:8080/vmgui/ipmanagement/toCreatelPPool,action s 


Create a New IP Pool 





IP Pool Hame |IntemallPPool 








Description 








Hetwork Hame 








VLAH ID 








Starting IP Address * 19216811 








Ending IP Address * 1921681200 





Subnet Mask * [255.255.255.0 














Gateway" [192.168.1.2 





Ceac) Cci) 


图 2-48 新 建 卫 资源 池 


在 新 建 的 卫 资源 池 中 输入 用 户 可 以 分 配 的 IP 地 址 段 ，ISF 会 根据 地 址 段 生成 相应 的 IP 
地 址 配置 信息 。 

8. 定义 ISF 应 用 

通过 上 面 的 步骤 ， 我 们 在 ISF 中 创建 了 一 个 虚拟 机 以 及 TP 资源 池 ， 下 面 我 们 将 把 资源 
的 分 配 与 应 用 相 结合 。ISF 给 出 的 方式 是 把 某 一 类 应 用 所 需要 的 环境 ， 通 过 Application defi- 
nition (应 用 定义 ) 的 方式 将 所 需要 的 虚拟 机 或 物理 机 模板 与 定义 关联 在 一 起 ， 当 需要 某 种 
特定 应 用 时 ， 可 以 将 该 应 用 定义 实例 化 。 

首先 ， 单 击 资源 管理 导航 树 中 的 Applications 一 Definitions。 













































































æa Resource Center Applications > Definitions 
= & cloudTest SUE "en z ET 
Cockpit view Definitions Policies Alarm Definitions 
qxutest 
[a cm? : 
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一 E Inventory 
@ Citrix XenServer Resources FFO zT 
| X€ xen Virtualized Resources a Application Definition Name Component Type Creator 
qxutest Apache Load Balance All Virtual ISF Load bale 
«K KVM Resources N JBoss Load Balance All Virtual ISF Load bals 
图 vMware Resources | JBoss Sample All Virtual ISF A JBoss: 
GB PCM LSF Al Virtual ISF AnLSsFc 
B Reports & Chargeback 问 Linux Sample for VMware All Virtual ISF A sample 
= System [E] Resource Pool Selection App |All Virtual ISF Sample al 
$ access Control Tomcat Sample All Virtual ISF (A Tomcat 
& Adapters | 
WebSphere Load Balance All Virtual ISF Deploys 2 
JERER Windows Sample All Virtual ISF A sample 
TERATE 








图 2-49 创建 应 用 定义 


如 图 2-49 所 示 ，ISF 本 身 提 供 了 很 多 应 用 定义 ， 这 里 将 创建 一 个 属于 用 户 自 己 的 应 用 
定义 ， 由 于 之 前 创建 的 模板 安装 有 Tomcat 应 用 服务 器 ， 不 妨 将 该 应 用 定义 名 设置 为 Tomcat 
AppServer。 单 击 New Definition 按钮 ， 将 开始 建立 应 用 定义 。 

第 一 步 是 设置 应 用 的 组 成 部 分 ， 比 如 一 个 Tomcat 应 用 程序 可 能 由 两 台 Tomcat 服务 器 加 
一 人 台 负 和 载 均衡 器 组 成 。 用 户 可 以 选择 配置 两 个 组 件 ， 分别 合 名 为 tomcatvm 与 loadbalancer, 
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如 图 2-50 所 示 。 


New Application Definition Wizard 


General Application | I 
Details | 


Specify General Definition Details: 









































Definition Hame * [Tomcat AppServer 
Description | 
Add Delete 
Tier Default Flow Orde: Col ent Name * blend Quantities 
i cs PE Pot is Ce Minimum Maximum 








m1 1 komeatvm Virtual [-] 2 Iw) Unlimited Y 
r2 2 loadbalancer Virtual - ] 0 ~ Unlimited ~ 












































图 2-50 设置 应 用 的 组 成 部 分 


接 下 来 需要 为 每 一 个 组 件 选 择 具体 的 虚拟 化 主机 ， 针 对 当前 的 环境 ， 选 择 Hypervisor 为 
Red Hat Xen, Resource Group 为 XenRedHat5, Hosts (Resource Group 可 以 将 很 多 计算 资源 包 
含 在 内 , ISF 用 Resource Group 来 进行 资源 调度 ， 默 认 情 况 下 Red Hat Xen 的 虚拟 化 主机 都 会 
被 放 入 XenRedHat5_Hosts 中 ) ， 如 图 2-51 所 示 。 
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Specify the aa forthis component: 


Component Type "Virtual 


Hypervisor RedHatXen — [v] 
Resource Group XenRedHatS Hosts | | 


Resource Selection Criteria (5 





Add Delete 


























Server Selection Policy 

















Default Machine Base Hame Prefix (7 



































" Quantities 
Machine Element n n 
Minimum Maximum 
CPUs Per Machine * 1 EA NENNEN 
Memory Per Machine (MB) * 256 
Cancel Back Go to Software Details 























图 2-51 选择 具体 的 虚拟 化 主机 


如 图 2-51 所 示 ， 单 击 Go to Software Details 按钮 ， 用 户 将 会 看 到 可 以 使 用 的 虚拟 机 模 
板 ， 此 时 可 以 为 组 件 选 择 需 要 的 虚拟 机 模板 如 图 2-52 所 示 ， 选 择 ISF Assigns IP addresses 
from the IP Pool 单 选 按钮 ， 这 意味 着 将 由 ISF 自动 分 配 IP 地 址 给 虚拟 机 。 
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Hardware Details Software Details 
Specify the software for this dt 
Template Name VM Tools Description 
图 lsFTemplate Installed 
Auto-generate OS Password (5 Do not automatically generate an OS password I-] 
Post-provisioning Script (5 None El 








IP Address Assignment e 





18) ISF Assigns IP addresses from the IP Pool E] Use Hostname as Machine Name 











© Assign IP addresses from outside of the IP Pool. 
2-52 选择 虚拟 机 模板 


接 下 来 用 户 可 以 设置 虚拟 机 维护 策略 以 及 自 定义 虚拟 机 的 安装 过 程 ， 这 里 可 以 不 作 任何 
选择 而 直接 单 击 next 按钮 (虚拟 机 维护 策略 以 及 自 定义 的 虚拟 机 安装 过 程 ， 可 以 在 未 来 有 
具体 需求 时 再 行 修改 ) 。 最 后 进入 Confirm Summary 页 面 ， 单 击 Save Definition 按钮 保存 应 用 
定义 。 

ISF 应 用 定义 需要 发 布 后 方 可 使 用 ， 如 图 2-53 所 示 ， 选 择 Tomcat AppServer， 单 击 Pub- 
lish 按钮 即 可 发 布 。 


pplications > Defintions 

























































Cockpit View Definitions Policies Alarm Definitions 

New Definition Modify Delete Publish M I Edit Publishing List y 

Browse by Definition Type: 
[7] Application Definition Name | Component Type | Creator 
[7] Apache Load Balance All Virtual ISF Load balance an Apache HTTP server. See /optiplatform/ 
[7] JBoss Load Balance All Virtual ISF Load balance a JBoss application server with flexing. See 
[7] JBoss Sample All Virtual ISF A JBoss application server. See /opt/platform/icmiconf/ap| 
回 LSF All Virtual ISF An LSF cluster with 1 master. See /optiplatformAcmiconf/ 
[7] |Linux Sample for VMware All Virtual ISF A sample Linux application definition for VMware using à I 
[7] Resource, Pool, Selection App All Virtual ISF Sample application that demonstrates resource pool selec 
[V: Tomcat AppServer All Virtual Admin - 
[7] | Tomcat Sample All Virtual ISF A Tomcat web server. See /optiplatformAcm/conf/applicat 
[7] WebSphere Load Balance All Virtual ISF Deploys 2 WebSphere YMs with an Apache Load Balance 
[7] windows Sample All Virtual ISF A sample Windows application definition. To use this defir 











2-53 ”发 布 应 用 定义 
9. 实例 化 ISF 应 用 
实例 化 ISF MHH, Æ Applications 一 Cockpit View 中 单 击 New Application 按钮 ， 选 择 需 要 
实例 化 的 应 用 定义 ， 单 击 Instantiate 按钮 ， 用 户 还 可 以 选择 应 用 的 开始 和 结束 时 间 等 ， 如 
图 2-54 所 示 。 
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laas 技术 介绍 ]s2x[ 


Application Hame Tomcat &ppServer Admii 
Wesen [—— — — —] 
verso [8 — — — —] 


Application Data No data defined 

















Start Time * Apr18,2011 — E [5:30 m| CST 








© All day, every day 























CST 一 (Ho Expiry) O All day, every work day 








End Time * Apr19,2011 — E $30 图 








© All day, every weekend 


© Custom recurrence pattern 





> Deployment 


> Policy 





Submit Close 





























图 2-54 ”实例 化 应 用 
单 击 Submit 按钮 后 ， 在 Applications 一 Cockpit View 中 ， 用 户 将 看 见 待 批准 的 应 用 请 求 ， 
由 于 用 户 是 以 Admin 管理 员 号 份 登录 ， 所 以 现在 可 以 立刻 批准 这 个 应 用 ， 如 图 2-55 所 示 。 


User Name: Admin Logoff 

















Applications > Cockpit View 






Cockpit View Definitions Policies Alarm Definitions 








Actions X New Application Apr 18, 2011 05:51:04 CST Refresh [V] Auto C 
v A Application Name $ Version Owner 于 Status pa Instance Count Start Time 











Apr 18, 2011 05:30: 





2-55 批准 提交 的 应 用 


最 后 ， 可 以 看 到 Application 变 为 Active 状态 ， 并 为 该 应 用 创建 了 三 个 虚拟 机 ， 如 
Kl 2-56 所 示 。 











E & Resource Center Applications > Cockpit View User Name: Admin Logoff 
1 cleudTest 
Cockpit View Definitions. Policies Alarm Definitions. 
Actions | ~ [ New Application Apr 18, 2011 05:52:34 CST Refresh [V] Auto C 
__2 made E] a . ApplicstinName Jk version Status — v Instance Count Start Time 
E E inventory [7g Tomcat 


© Citrix XenServer Resources AppServer_Admin_1 


(€ xen Virtualized Resources 
D qxutest 
KK kvM Resources 
YMware Resources 
pem 
E Reports & Chargeback 
System 
$ Access Control 
Ê Adapters 





ERRER 
ERI 
gu 








Application Name: Tomcat AppServer Admin 1 Version:1.0 


Virtual Machines 























Actions - 
A Instance VM Host Name Physical Host name. Data Center IP Address | Status CPU(%) MEMS 
C |J, machine 1 0418055202272 - qxutest cloudTest - On === 二 | 这 二 = 
£3, machine 1 0418055202750 - qxutest cloudTest - On |m |L—— 
[7] © machine 2 0418055202390 - gqxutest cloudTest - On c L—— 


























2-56 实例 化 应 用 成 功 
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10. 使 用 普通 用 户 实例 化 应 用 

通过 上 面 的 流程 ， 我 们 成 功 的 实例 化 了 一 个 应 用 。 以 上 步 又 比 较 复 杂 ， 而 在 真实 的 使 用 
过 程 中 ,用 户 往往 不 会 使 用 管理 员 操 作 每 一 个 步骤 。ISF 还 提供 账户 管理 员 与 普通 用 户 的 角 
色 。ISF 管理 员 可 以 将 应 用 定义 分 配给 某 一 个 账户 ， 由 账户 中 的 用 户 提 交 应 用 请 求 ， 账 户 管 
理 员 负 责 审批 应 用 请 求 。 在 资源 管理 导航 树 中 单 击 Accounts & Users 节点 可 以 添加 或 删除 账 
户 (用 户 )。 

当 一 个 普通 账户 登录 时 看 到 的 界面 如 图 2-57 所 示 。 


SampleAccount > Account Management 














Account Management | Application Management Dashboard 
Account ^ 
Attributes 
Account Hame SampleAccount Parent Account N/A 
Description Sample account Approval Heeded Yes 
qxu 
Account Owner AppManager Account Status Open 


Resource Limit 











RAM (MB) Number of Physical Machines 
Available Resources Unlimited Unlimited 
Current Limit Unlimited Unlimited 














图 2-57 普通 用 户 登录 界面 

















普通 用 户 可 以 在 Application Management 页 面 中 实例 化 分 配 到 所 在 账户 的 应 用 定义 。 由 
账户 管理 员 审 批 请 求 。 


|2- 5 小 结 


本 章 较 为 系统 地 介绍 了 虚拟 化 技术 ，PXE 技术 以 及 负载 均衡 器 的 原理 与 使 用 。 并 在 学 
习 的 基础 上 ， 使 用 商业 laas 软件 搭建 了 IaaS 运行 环境 。Iaas 软件 有 助 于 帮助 企业 解决 计算 
资源 比较 多 ， 而 资源 利用 率 却 不 高 的 问题 。 

相信 通过 本 章 的 学 习 ， 读 者 已 经 基本 掌握 了 独立 搭建 企业 级 IaaS 的 知识 ， 带 着 一 份 执 
着 与 对 云 计 算 的 兴趣 让 我 们 继续 云 计 算 的 学 习 。 
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我 们 通过 前 面 章节 的 介绍 ， 学 习 了 laas 相关 的 技术 ， 学 会 了 如 何 搭建 了 企业 laas 环境 ， 
了 解 到 可 以 通过 负载 均衡 技术 利用 计算 机 集群 来 提高 网 站 的 并 发 访问 效率 。 但 要 认识 到 ， 负 
载 均 衡器 只 是 将 大 量 的 客户 请 求 分 散 到 集群 服务 器 上 处 理 ， 也 就 是 说 提高 了 应 用 程序 接收 请 
求 的 能 力 。 举 个 买 东西 的 例子 ， 前 台 导 购 相当 于 负载 均衡 器 ， 他 负责 将 大 量 客户 导向 不 同 的 
货 员 处 理 ， 遇 到 客户 要 买 的 货物 本 店 没 有 时 ， 售 货 员 就 可 能 需要 去 其 他 店面 取 货 ， 这 样 的 
业务 必然 会 很 耗 时 间 ， 而 客户 很 有 可 能 等 不 及 走 了 。 计 算 机 世界 也 是 这 样 ， 某 些 请 求 所 涉及 
的 业务 计算 量 可 能 很 大 ， 导 致 处 理 这 个 请 求 变 慢 了 ， 最 终 用 户 因为 等 待 不 了 过 长 的 时 间 ， 而 
放弃 使 用 。 下 面 将 要 介绍 的 并 行 计算 软件 正 是 解决 这 一 类 问题 的 有 力 工具 。 
并 行 计算 软件 在 云 计 算 架构 中 处 于 PaaS 层 。 与 虚拟 机 相 比 ， 它 是 提高 主机 利用 率 的 男 
一 种 方式 ， 不 同 的 是 它 直 接 利用 操作 系统 现 有 的 资源 ， 在 提高 主机 利用 率 的 同时 占用 更 少 的 
主机 资源 ， 而 虚拟 机 则 是 通过 在 操作 系统 中 虚拟 化 多 个 客户 操作 系统 来 提高 主机 利用 率 。 使 
用 并 行 计算 软件 要 注意 的 是 ， 应 用 程序 的 业务 在 逻辑 上 必须 能 够 并 行 运行 ， 这 样 才能 通过 并 
行 软件 提供 的 编程 接口 集成 后 在 并 行 软件 中 运行 。 并 行 计算 软件 与 虚拟 化 技术 是 可 以 并 存 
的 ， 因 此 完全 可 以 将 并 行 计算 软件 安装 在 虚拟 机 搭建 的 运行 环境 中 〈 笔 者 的 测试 环境 就 是 
使 用 虚拟 机 搭建 的 ) 。 































































































云 计 算 : 应 用 开发 实践 


EX. Hadoop 


Hadoop 的 名 气 很 大 ， 相 信 很 多 读者 都 听 说 过 它 ， 本 节 将 从 概念 和 架构 方面 理解 Hadoop, 
并 通过 实际 搭建 Hadoop ， 运 行 Map Reduce 程序 。 

首先 来 认识 Hadoop 究竟 是 用 来 解决 什么 样 的 问题 的 。 要 搞 清 这 个 问题 ， 就 要 分 析 一 下 
设计 实现 Hadoop 这 个 软件 的 人 在 想 什么 ， 做 什么 ， 以 及 Hadoop 的 真实 应 用 案例 。 











3.1.1 Hadoop 简介 


最 初 ，Hadoop 是 为 一 个 开源 的 网 络 搜索 引擎 (Apache Nutch) 而 开发 的 文本 搜索 库 。 
首先 来 回顾 一 下 Nutch 的 发 展 状况 ， 以 便 对 Hadoop 的 前 身 有 更 多 的 了 解 。Nutch 项 目 开 始 于 
2002 年 ， 它 最 初 就 是 一 个 抓 取 工具 加 一 个 搜索 工具 。 但 开发 人 员 很 快 就 意识 到 ， 他 们 的 这 
个 架构 无 法 处 理 数 十 亿 的 网 页 搜索 工作 。 

紧 接着 2003 F, ERE Googe 的 研究 人 员 发 表 了 一 篇 描述 Google 分 布 式 文件 系统 
(Google File System， 简 称 GFS) 的 文章 。 文 中 提 到 的 GFS 或 类 似 的 东西 ， 恰 恰 可 以 解决 他 
们 在 网 络 抓 取 和 索引 过 程 中 产生 的 大 量 文件 的 存储 需求 。 具 体 而 言 GFS 会 节省 管理 所 花 的 
时 间 ， 如 管理 存储 节点 。 

2004 年 ，Nutch 的 设计 者 们 开始 开发 一 个 开放 源 代码 的 分 布 式 文件 系统 (NDFS), ， 也 就 
是 后 来 耳熟能详 的 HDFS 的 前 身 。 就 在 NDFS 开发 的 时 候 ，Google 又 发 表 了 一 篇 文章 ， 向 全 
世界 介绍 了 MapReduce 这 一 分 布 式 计算 框架 。 于 是 ， 幸 运 的 Nutch 开发 人 员 在 2005 年 又 在 
Nutch 上 增加 了 一 个 可 工作 的 MapReduce 计算 框架 ， 同 时 将 所 有 主要 的 Nutch 算法 移植 到 使 
用 MapReduce 和 NDFS 的 架构 里 来 运行 。 之后， 开发 人 员 觉 得 Nutch 中 的 NDFS 和 MapRe- 
duce 实现 的 应 用 不 光 可 以 应 用 在 搜索 领域 ， 在 2006 年 2 月 ， 他 们 从 Nutch 转移 出 来 成 为 一 
个 独立 的 Lucene 子 项 目 ， 就 是 现在 流行 的 开源 云 计 算 平 台 Hadoop, 

大 约 在 同一 时 间 ，Hadoop 的 主要 设计 者 加 入 雅虎 ， 雅 虎 如 获 至 宝 ， 专 门 提供 一 个 团队 
和 相关 的 资源 要 将 Hadoop 发 展 成 一 个 可 在 网 络 上 运行 的 系统 。 在 2008 年 2 月 ， 雅 虎 宣布 其 
搜索 引擎 产品 部 署 在 一 个 拥有 1 万 个 内 核 的 Hadoop 集群 上 。 至 此 ，Hadoop 这 个 词 在 业界 迅 
速 升 温 ， 当 大 家 提 到 云 计算 的 时 候 就 会 自然 而 然 地 想起 这 个 词 (Hadoop 这 个 词 源 自 其 主要 
设计 者 的 儿子 给 一 个 玩具 小 象 起 的 名 字 ， 这 个 玩具 小 象 也 成 为 了 Hadoop 的 标志 ) o 

现在 ， 我 们 来 通过 前 面 的 描述 分 析 一 下 Hadoop。 首 先 ， 它 是 为 搜索 引擎 设计 的 ， 而 有 具 
体 的 主要 工作 是 在 一 大 堆 文 件 中 查找 关键 字 。 它 的 HDFS 主要 是 做 文件 相关 的 工作 ， 而 Ma- 
pReduce 作为 一 个 框架 ， 可 以 把 算法 集成 在 上 面 。 

根据 它 的 设计 目的 再 加 上 我 们 的 分 析 ， 现 在 大 致 可 以 认为 Hadoop 要 解决 的 问题 与 大 量 
文件 有 关 。 下 面 依然 通过 例子 来 证 实 我 们 的 想法 。 

3.1.2 初探 Hadoop 

Hadoop 包含 很 多 子 项 目 ， 一 般 ，Hadoop 主要 包含 三 个 组 件 : Hadoop Common, HDFS 以 
及 MapReduce。 其 官方 网 站 (http://hadoop. apache. org) 提供 打包 下 载 ， 本 书 使 用 的 版 本 是 
Hadoop 0. 20. 2, Hadoop 的 运行 需要 Linux Shell 支持 并 且 需 要 安装 SSH 等 相关 Linux 组 件 。 
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虽然 在 Windows 操作 系统 中 也 可 以 通过 安装 类 似 的 软件 来 创建 与 Linux 相似 的 工作 环境 ,但 
这 显然 并 不 是 Windows 下 程序 的 一 般 使 用 方式 ， 显 然 Hadoop 更 倾向 于 在 Linux 操作 系统 中 
运行 ， 故 笔者 建议 读者 在 Linux 下 安装 与 使 用 Hadoop, 而 SSH, Linux Shell 更 是 Linux 系统 
默认 安装 的 工具 包 。 很 多 读者 可 能 没有 安装 Linux 环境 ， 现 在 就 是 一 个 好 机 会 来 使 用 之 前 提 
到 的 虚拟 化 技术 ， 比 如 利用 VMware Server 创建 一 个 Linux 虚拟 机 (参见 第 2 章 中 创建 虚拟 
机 的 例子 ) 。 

准备 好 Linux 虚拟 机 后 ， 请 读者 参考 Hadoop 文档 自行 安装 Hadoop, 

Hadoop 的 最 简 安装 提供 了 一 个 在 本 地 运行 的 例子 ， 我 们 以 这 个 例子 为 参考 ， 开 始 Ha- 
doop 的 学 习 。 

下 面 以 Hadoop 自 带 的 程序 包 为 例 ,在 Hadoop 上 运行 ， 如 下 所 示 。 
























































$ mkdir input # 创 建 一 个 名 为 input 的 文件 夹 

$ cp conf/ *. xml input # 尾 目录 conf. 下 的 所 有 XML 文件 复制 到 input 文件 夹 中 

# 使 用 Hadoop 找 出 以 propert 开头 的 单词 ,并 记录 其 出 现 次 数 

$ bin/hadoop jar hadoop - 0. 20. 2 — examples. jar grep input output propert [a —z. ] 4 
$ cat output/ * # 察 看 输出 结果 









































如 果 运 行 顺利 的 话 ， 会 得 到 如 下 结果 。 


cat output/ * 
45 property 


1 properties 

















通过 这 个 例子 ， 可 以 看 出 Hadoop 可 以 读 取 文件 ， 并 对 单词 作 计 数 处 理 ， 把 结果 存放 到 
文件 中 。 这 个 例子 也 是 搜索 中 常用 的 功能 一 一 统计 关键 字 并 对 关键 字 计数 ， 最 后 将 关键 字 按 
照 出 现 的 频率 进行 排序 。 


3.1.3 Hadoop 的 架构 


通过 上 一 节 的 例子 ， 我 们 已 经 成 功 地 安装 了 Hadoop， 并 且 使 用 Hadoop 自 带 的 工具 对 
XML 文件 中 的 关键 字 作 了 排序 。 但 是 并 没有 涉及 Hadoop 所 包含 的 HDFS 以 及 MapReduce 组 
件 。 本 节 将 分 别 介绍 。 

(1) HDFS 

HDFS ( Hadoop Distributed File System) 是 为 Hadoop 项 目 开发 的 分 布 式 文件 系统 ， 它 采 
用 主 / 从 (master/slave) 架构 。HDFS 由 一 个 NameNode (文件 索引 服务 器 ) 以 及 众多 的 
DataNode (数据 节点 ) 组 成 。HDFS 提供 给 用 户 相应 的 文件 命名 空间 供用 户 将 数据 以 文件 
的 形式 存放 。HDFS 一 般 会 把 这 些 文件 切 分 为 几 个 文件 块 ， 切 分 后 的 文件 块 将 被 存放 在 一 
组 数据 服务 器 上 。 然 后 由 NameNode 提供 打开 、 关 闭 、 重 命名 文件 与 目录 等 基本 功能 ， 同 
时 负责 将 文件 块 映射 到 DataNode 上 。 再 由 DataNode 负责 响应 客户 端 具 体 文件 的 读 写 操 
作 ， 同 时 处 理由 NameNode 发 起 的 创建 、 删 除 和 备份 数据 块 的 请 求 。HDFS 的 架构 如 图 3-1 
所 示 。 
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DataNode 








图 3-1 HDFS 架构 


一 般 而 言 HDFS 在 Linux 操作 系统 上 运行 。 由 于 采用 了 Java 语言 ， 所 以 理论 上 任何 支持 
Java 语言 的 操作 系统 都 可 以 运行 NameNode 与 DataNode。HDFS 采用 主 / 从 式 系统 架构 ， 其 中 
的 所 有 元 数据 都 存储 在 NameNode 上 ， 故 客户 端 可 以 方便 地 通过 NameNode 得 到 全 局 数据 存 
储 状况 ,但 如 果 出 现 NameNode 死机 的 情况 ， 用 户 也 将 失去 访问 数据 的 能 力 ， 为 此 HDFS 在 
新 版 本 中 加 入 了 备份 NameNode 功能 ， 以 防止 上 述 故 障 。 

HDFS 的 好 处 在 于 ， 它 支持 元 余 备 份 数据 ， 默 认 情 况 下 ， 数 据 会 被 分 成 64MB 的 数据 块 ， 
这 些 数 据 块 会 被 复制 到 多 台 DataNode 上 。 此 外 HDFS 支持 机 架 感知 技术 。 具 体 来 说 就 是 用 
户 将 机 架 与 主机 信息 通过 脚本 的 形式 提供 给 Hadoop, Hadoop 再 把 数据 在 不 同 机 架 上 进行 兄 
余 ， 这 就 保证 了 当 一 个 机 架 出 现 故 障 后 ，HDFS 依然 可 以 正常 访问 数据 。 

(2) MapReduce 

MapReduce 是 一 种 为 多 台 计 算 机 并 行 处 理 大 量 数据 而 设计 的 并 行 计 算 框架 。 

MapReduce 通常 将 工作 的 输入 数据 分 割 成 独立 的 数据 块 ， 分割 后 的 数据 一 般 由 多 个 
Map 任务 并 行 处 理 。Mapper 从 HDFS 上 取出 数据 ， 处 理 后 将 结果 存储 在 本 地 硬盘 ，Reduc- 
er 在 本 地 硬盘 或 通过 网 络 方法 取得 Mapper 的 输出 结果 后 进一步 计算 ,将 结果 输出 到 
HDFS。MapReduce 框架 关注 调度 任务 ， 并 监视 任务 的 执行 状况 ， 如 果 执 行 失败 ， 将 重新 
执行 该 任务 。 

在 Hadoop 中 计算 节点 通常 与 存储 节点 在 一 起 ， 也 就 是 说 HDFS 所 使 用 的 节点 与 MapRe- 
duce 所 使 用 的 节点 相同 。 这 就 使 得 MapReduce 框架 可 以 根据 数据 的 存储 分 布 情况 来 调度 
任务 。 

MapReduce 框架 包含 一 个 独立 的 主 服务 器 JobTracker (工作 分 配 服 务 器 ) 及 一 组 与 Data- 
Node 安装 在 一 起 的 从 服务 器 TaskTracker (任务 执行 服务 器 ) 。 主 服务 器 负责 将 任务 调度 到 
从 服务 器 上 ， 并 监控 任务 ， 重 新 执行 失败 的 任务 。 

应 用 程序 在 HDFS 上 指定 输入 与 输出 位 置 ， 并 通过 实现 专门 的 接口 来 提供 相应 的 Map 
和 Reduce 方法 。Hadoop 客户 端 负责 发 送 工 作 (jar 文件 或 可 执行 文件 等 ) 和 配置 信息 给 
JobTracker， 由 JobTracker 来 分 发 、 调 度 任务 给 TaskTracker， 并 将 相应 的 状态 信息 反馈 给 Ha- 
doop 客户 端 。MapReduce 的 架构 如 图 3-2 所 示 。 
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主 服 务 器 从 服务 器 


JobTracker 


1 I 

[ 1 TaskTracker 
[ 

MC 

1 1 





ERR ss 
[ve] Mapper |-- 7 





Ecc. 
数据 块 HDFS RH 





图 3-2 MapReduce 架构 
通过 上 面 的 描述 ， 我 们 对 Hadoop 的 架构 有 了 初步 的 认识 ， 下 面 将 Hadoop 配置 到 多 台 计 
算 机 上 ， 再 次 运行 刚才 在 单机 Hadoop 上 运行 的 查找 关键 字 并 按 出 现 次 数 排序 的 例子 。 


3.1.4 多 机 环境 配置 Hadoop 


假定 现在 有 两 台 计 算 机 skatertest 与 skatertestl ， 这 两 台 计 算 机 互相 之 间 可 以 用 网 络 通 信 (可 
以 通过 修改 /ete/phosts 文件 添加 主机 名 及 IP， 通 过 ping <host > 命令 检查 是 否 可 以 互相 通信 ) 。 

配置 完 网 络 后 ， 还 需要 配置 主 服务 器 中 Hadoop 的 各 个 模块 

配置 NameNode， 如 代码 清单 3-1 所 示 。 

【代码 清单 3-1 】 






































conf/ core- site. xml ; 


< configuration > 
< property > 
< name > fs. default. name < /name > 
< value > hdfs://skatertest:9000 < /value > < | — E NameNode 的 工作 地 址 --> 
< / property > 





« / configuration > 


配置 DataNode， 如 代码 清单 3-2 所 示 。 
【代码 清单 3-2 】 


conf/ hdfs- site. xml ; 


< configuration > 


« property > 
« name > dfs. replication < /name > «1-72 --» 
< value >2 < /value > < 1 一 数据 备份 --> 


</property > 


</configuration > 
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配置 MapReduce 任务 服务 器 ， 如 代码 清单 3-3 所 示 。 
【代码 清单 3-3] 


conf/ mapred- site. xml : 


< configuration > 
< property > 
< name > mapred. job. tracker < /name > 
< value > skatertest:9001 < /value > < ! - MapReduce 服务 器 的 工作 地 址 --> 
« / property > 


< / configuration > 
配置 Secondary NameNode 服务 需 的 代码 如 下 所 示 。 


conf/ masters 
skatertest2 的 econdary Name Node 定期 合并 日 志 信息 ,并 不 能 单独 工作 
# 可 加 快 主 NameNode 的 重新 启动 时 间 


配置 从 服务 器 的 代码 如 下 所 示 。 




















conf/slaves 
skatertest 
skatertestl 


3.1.5 分 布 式 环境 下 运行 Hadoop 
格式 化 文件 系统 的 代码 如 下 所 示 。 


bin/hadoop namenode- format 
启动 Hadoop 的 代码 如 下 所 示 。 


bin/start- all. sh 











启动 Hadoop 后 ， 可 以 用 Java 的 jps 工具 查看 启动 的 Java 进程 。 
主 服务 右上 的 Java 进程 ， 如 代码 清单 3-4 所 示 。 
【代码 清单 3-4]】 





root@ skatertest£jps 

3973 Jps 

3574 DataNode 

3725 SecondaryNameNode 
3893 TaskTracker 

3786 JobTracker 

3487 NameNode 
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从 服务 器 上 的 Java 进程 ， 如 代码 清单 3-5 所 示 。 
【代码 清单 3-5]】 


root@ skatertest£jps 
3647 Jps 

3570 TaskTracker 
3501 DataNode 





此 外 ，Hadoop 提供 网 页 监控 HDFS NameNode 和 MapReduce JobTracker 的 运行 。 


NameNode- http :// skatertest :50070/ 
JobTracker- http ;//skatertest :50030/ 


或 者 使 用 命令 查看 HDFS 工作 状况 。 





bin/hadoop dfsadmin- report 


在 分 布 式 条 件 下 首次 执行 工作 ， 将 Hadoop Conf 文件 夹 中 的 所 有 数据 复制 到 HDFS 系统 
中 的 input 文件 夹 。 


$ bin/hadoop fs — mkdir input 
$ bin/hadoop fs — put conf/ *. xml input 








计算 XML 文件 中 以 Proper 开头 的 关键 字 ， 并 按 关键 字 出 现 的 次 数 排序 。 


$ bin/hadoop jar hadoop — 0. 20. 2 — examples. jar grep input output propert[ a —z. ] # 























可 以 通过 Hadoop 自 带 的 cat 命令 直接 打开 HDFS 文件 系统 上 的 输出 文件 ， 查 看 结果 。 





$ bin/hadoop fs — cat output/ * 

51 property (读者 是 否 还 记得 第 一 次 在 本 机 的 运行 结果 是 45 , 而 在 本 节 我 们 给 三 个 Hadoop 配 
E XML 文件 ,这 样 便 增加 了 三 对 propert 节点 ,结果 自然 是 45 +6) 

1 properties 


























3.1.6 使 用 Eclipse Hadoop 集成 开发 环境 


对 于 Java 开发 人 员 ，Hadoop 提供 了 Eclipse 集成 开发 环境 。 在 Hadoop 的 安装 目录 中 可 
以 找到 $ | hadoop | \hadoop-0. 20. 2 \contrib Veclipse- plugin V hadoop-0. 20. 2- eclipse- plugin. jar 
插件 。 将 该 插件 复制 到 $ eclipse | Veclipse plugins 目录 中 。 重 启 Eclipse 即 可 安装 该 插件 。 

安装 好 Hadoop 插件 的 Eclipse， 在 新 建 窗口 中 ， 会 有 一 个 新 的 Map/Reduce Project H, 
如 图 3-3 所 示 。 

选择 Map/Reduce Project 癌 导 并 单 击 Next 按钮 ， 将 会 看 到 MapReduce 工程 设置 页 面 ， 如 
图 3-4 所 示 。 
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18 New 





Select a wizard 





Wizards: 
type filter text 





(S Class 
€ Interface 
g$ Java Project 
$ Java Project from Existing Ant Buildfile 
[Ð Map/Reduce Project 
GÈ Plug-in Project 
b (E General 
» & Connection Profiles 
> ( CVS 
b © Eclipse Modeling Framework 














© 


< Back 





Finish 





Cancel 


3-3 Map/Reduce Project [5] 5 


[©] New MapReduce Project Wizard 





MapReduce Project 


Create a MapReduce project. 





Project name: TestHadoop 











V] Use default location 








Location: | CAUsersskaterhomeWworkspaceawsVTestHadoop 


Browse... 





Choose file systern: | default 
Hadoop MapReduce Library Installation Path 
© Use default Hadoop 


© Specify Hadoop library location J\work\hadoop\hadoop-0.20.2 


Configure Hadoop install directory. 





Browse.. 








Next > 





@ | 


< Back J 





Finish Cancel 














7m 











3-4 MapReduce 工程 设置 页 面 


在 MapReduce 工程 设置 页 面 除了 可 以 设置 工程 名 外 ， 还 可 以 设置 Hadoop 库 文 件 。 这 里 
有 个 技巧 ， 直 接 将 我 们 在 Linux 上 安装 的 Hadoop 程序 复制 到 本 地 目录 ， 指 定 Hadoop 目录 
后 ，Hadoop 会 自行 添加 所 需 的 类 库 。 最 终 我 们 将 看 到 Hadoop 集成 开发 环境 ， 如 图 3-5 


BS o 


HDFS 文 件 浏览 
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Vy HE 


ES Map/Reduce -cipro EE 


(= © mms 








File Edit Source Refactor Navigate Search Project Run Window Help 











Æ DFS Locations 





WLAN 


(£i TestHadoop 





o Mei- .A Ei [A MapReduce)” 
(Es Project Explorer 3N — - nf =DE D $*B 














Location 


(E Problems [4] Tasks | @ Javadoc (i? Map/Reduce Locations 23 





Master node 



































添加 Hadoop 集 群 配置 


并 行 计算 技术 介绍 | 梨 3 香 | 


在 Hadoop 集成 开发 环境 中 ， 除 了 可 以 编写 Hadoop 程序 ， 还 可 以 配置 所 使 用 的 Hadoop 
集群 ， 并 察看 HDFS 上 的 文件 。 
单 击 Hadoop 集群 配置 按钮 ， 如 3-6 图 所 示 。 


(8j Edit Hadoop location.. ii mE LI -—— = | 














Define Hadoop location 


Define the location of a Hadoop infrastructure for running MapReduce 
applications. 











General | Advanced parameters 








Location name: 192.168.199.128 
Map/Reduce Master DFS Master 
[V] Use M/R Master host 


Host: |192.168.199.128 


Host 192.168.199.128 


Port: 9001 Port 9000 





User name: rood 
| 








SOCKS proxy 
回 Enable SOCKS proxy 
Host: | host 
Port: |1080 
Load from file | | Validate location 
© | Finish | | Cancel 











3-6 配置 所 使 用 的 Hadoop 集群 
配置 结束 后 ， 可 以 立刻 查看 HDFS 文件 系统 ， 如 图 3-7 所 示 。 


j DFS Locations 
fO 192.168.199.128 
4 
b (g filesharesystem (1) 
b (g hbase (7) 
b & tmp (1) 
b (£g user (1) 


4 


a E 


3-7 HDFS 文件 浏览 


在 这 些 文件 夹 中 ， 有 个 hbase 文件 夹 ，HBase 是 一 个 基于 HDFS 的 数据 库 ， 这 些 将 在 本 
章 后 面 介绍 。 

此 外 ，Hadoop 提供 了 一 种 新 的 运行 方式 ， 可 以 通过 Run As 调用 Run on Hadoop。 如 
图 3-8 所 示 。 





Run As ?| 中 1RunonServer Alt+Shift+X, R 
Debug As »| =] 2 Java Applet Alt+Shift+X, A 
Profile As *|[3] 3 Java Application Alt+Shift+X, J 
Team ^| Ju 4JUnit Test Alt-Shift-X, T 
Compare With , 


[ng 


3-8 Run on Hadoop 3 B 
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3.1.7 使 用 Hadoop MapReduce 编写 程序 


通过 前 面 的 讲解 ， 我 们 搭建 了 属于 自己 的 Hadoop 分 布 式 计算 环境 。 但 目前 所 使 用 的 是 
Hadoop 自 带 的 程序 包 ， 这 些 程序 都 是 通过 Hadoop 的 MapReduce 框架 编写 的 示例 程序 ， 下 面 
利用 MapReduce 框架 编写 一 个 程序 。 

MapReduce 框架 主要 对 «key, value > (EEX) 进行 操作 ， 即 该 框架 将 输入 参数 视 为 
一 个 由 «key, value > 组 成 的 集合 ， 并 且 输 出 结果 也 是 由 < key, value > 组 成 的 集合 。 

在 Hadoop 中 键 值 与 键 值 所 对 应 的 数据 值 都 需要 被 序列 化 后 才 可 以 使 用 ，Hadoop 提供 多 
种 序列 化 键 值 对 的 方法 ， 默 认 的 序列 化 方法 需要 用 户 实现 Writable 接口 。 另 外 ， 键 值 一 般 要 
可 排序 ， 这 就 需要 实现 WritableComparable 接口 。 

一 个 典型 的 MapReduce 工作 输入 和 输出 如 下 所 示 : 

(输入 ) «kl, vl > —map— « k2, v2 > —combine— « k2, v2 > 一 reduce 一 <k3，v3 > 
(输出 ) 

1) Mapper 通过 HDFS 得 到 需要 处 理 的 文件 。 

2) 对 文件 的 每 一 行进 行 map 处 理 。 

3) Combiner (组 合 ) 对 map 的 结果 进行 预 处 理 (可 选 ) 。 

4) Mapper 的 最 终结 果 将 以 文件 形式 放 到 本 地 文件 系统 ， 等 待 Reducer 获取 。 

5) Reducer 根据 具体 应 用 逻辑 向 JobTracker 查询 所 需 的 文件 在 哪个 计算 节点 上 ， 通 过 
Http 方式 获取 所 需 的 数据 。 

6) Reducer 根据 Key 值 处 理 Mapper 的 输出 结果 。 

7) Reducer 将 最 终结 果 以 文件 形式 输出 到 HDFS 上 。 

现在 以 WordCount 为 例 介绍 MapReduce 编程 接口 。WordCount 程序 的 目的 是 统计 文件 中 
关键 字 出 现 的 次 数 ， 它 可 以 被 用 在 搜索 引擎 中 ， 针 对 关键 字 所 涉及 的 项 目 进行 统计 。 该 程序 
的 代码 如 代码 清单 3-6 所 示 。 

【代码 清单 3-6]】 

















































































































WordCount 代码 清单 


package org. myorg; 


import java. io. IOException; 


import java. util. * ; 


import org. apache. hadoop. fs. Path; 
import org. apache. hadoop. conf. * ; 
import org. apache. hadoop. io. * ; 
import org. apache. hadoop. mapred. * ; 


import org. apache. hadoop. util. * ; 


public class WordCount | 


"2 
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E 





对 文件 的 每 一 行进 行 map 处 理 


public static class Map extends MapReduceBase implements Mapper < LongWritable, Text, 
Text, IntWritable > | 
private final static IntWritable one 2 new IntWritable( 1) ; 


private Text word = new Text( ) ; 


publie void map ( LongWritable key, Text value, OutputCollector < Text, IntWritable > out- 
put, Reporter reporter) throws IOException | 
String line = value. toString( ) ; 
StringTokenizer tokenizer = new StringTokenizer( line) ;// 用 空格 分 隔 word 
while (tokenizer. hasMoreTokens( ) ) | 
word. set( tokenizer. nextToken( ) ) ; 


output. collect( word, one) ; 


foo 

* Reduce 方法 

根据 Key 值 处 理 Mapper 的 输出 结果 
*/ 


public static class Reduce extends MapReduceDBase implements Reducer < Text, IntWritable, 





Text, IntWritable > | 
public void reduce( Text key, Iterator < IntWritable > values, OutputCollector < Text, IntWrit- 
able » output, Reporter reporter) throws IOException | 
int sum 20; 
while (values. hasNext( ) ) | 
// 查 找 相同 的 关键 字 , 将 出 现 的 次 数 累 加 
sum + = values. next( ). get( ) ; 


| 


output. collect( key, new IntWritable( sum) ) ; 


public static void main(String| | args) throws Exception | 
JobConf conf 2 new JobConf( WordCount. class) ; 


conf. setJobName( " wordcount" ) ; 


conf. setOutputKeyClass ( Text. class) ; 
conf. setOutputValueClass( IntWritable. class) ; 
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conf. setMapperClass( Map. class) ; 
// Combiner( ZH. £r ) 对 map 的 结果 进行 预 处 理 


conf setCombinerClass( Reduce. class ) ; 





conf. setReducerClass ( Reduce. class) ; 


conf. setInputFormat ( TextInputFormat. class ) ; 

conf. setOutputFormat ( TextOutputFormat. class) ; 

// Mapper 通过 HDFS 得 到 需要 处 理 的 文件 

FileInputFormat. setInputPaths( conf, new Path( args[ 0 | ) ) ; 
// Reducer 将 结果 以 文件 形式 输出 到 HDFS 上 
FileOutputFormat. setOutputPath( conf, new Path(args[ 1])) ; 





























JobClient. runJob( conf) ; 


| 


可 以 使 用 命令 编译 并 打包 程序 ， 如 下 所 示 。 
创建 wordcount | classes 文件 夹 。 


$ mkdir wordcount_classes 
编译 程序 。 


$ javac- classpath $ /data/hadoop/ hadoop- 0. 20. 2/hadoop- core- 0. 20. 2. jar:/data/ hadoop/ hadoop- 
0. 20. 2/hadoop- mapred- 0. 20. 2. jar:/data/ hadoop/ hadoop- 0. 20. 2/hadoop- hdfs- 0. 20. 2. jar- d word- 


count_classes WordCount. java 
打包 程序 。 


$ jar-cv{/user/joe/ wordcount. jar- C wordcount, classes/. 


ix Hi fidi H]/user/skater/wordcount/input 作为 输入 文件 夹 ，Mapper 会 遍历 该 文件 夹 下 所 有 


的 文件 。/user/skater/wordcount/output 作为 Reducer 输出 文件 夹 ， 输 入 文件 夹 内 容 如 代码 清 
单 3-7 所 示 : 
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$ bin/hadoop fs — ls/user/joe/ wordcount/ input/ 
/user/ joe/ wordcount/ input/ file01 
/user/ joe/ wordcount/input/file02 


$ bin/hadoop fs — cat/user/ joe/ wordcount/input/fileO1 
Hello World Bye World 


$ bin/hadoop fs — cat/user/ joe/ wordcount/input/file02 
Hello Hadoop Goodbye Hadoop 


开行 计算 技术 介绍 | 各 3 章 | 





执行 应 用 ， 如 代码 清单 3-8 所 示 。 
【代码 清单 3-8] 


$ bin/hadoop jar/user/joe/ wordcount. jar org. myorg. WordCount/user/joe/ wordcount/input/user/joe/ 


wordcount/output 
输出 结果 : 


$ bin/hadoop fs — cat/user/ joe/ wordcount/output/ part- r- 00000 
Bye 1 

Goodbye 1 

Hadoop 2 

Hello 2 

World 2 


我 们 也 可 以 通过 Eclipse 集成 环境 执行 应 用 。 单 击 Run As 一 Run On Hadoop, ， 如 图 3-9 所 
示 选 择 Hadoop 集群 。 


E Run on Hadoop L- OR 


Select Hadoop location 








Select a Hadoop location to run on. 


Select a Hadoop Server to run on. 
OO Define a new Hadoop server location 
© Choose an existing server From the list below 





Location Master host name 








192.168.199.128 192.168.199.128 
®© l Finish Cancel 





图 3-9 使 用 Eclipse 开发 环境 执行 WordCount 程序 


本 节 我 们 学 习 了 Hadoop 自 带 的 例子 ， 对 Hadoop 的 使 用 有 了 初步 了 解 。Hadoop 通过 支 
持 MapReduce 框架 为 应 用 程序 提供 了 易于 理解 的 并 行 编程 模型 。 同 时 ，Hadoop 拥有 比较 好 
的 社区 论坛 ， 并 且 代码 开源 ， 这 为 我 们 学 习 使 用 Hadoop 带 来 了 一 定 的 便捷 。 

在 早期 使 用 Hadoop 时 没有 正式 的 商业 厂商 支持 ， 当 遇 到 问题 时 ， 很 难 快速 得 到 技术 文 
持 。 笔 者 在 使 用 Hadoop 的 过 程 中 碰 到 过 一 些 问 题 ， 其 中 有 的 问题 通过 它 的 日 志文 件 没 法 立 
刻 解 决 ， 最 终 通过 求助 于 Hadoop 社区 、 搜 索 、 读 源 代 码 等 方式 解决 了 问题 ， 但 花费 时 间 较 
长 。 从 2011 年 起 ，Cloudera Platform Computing 等 众多 公司 都 提供 了 相应 的 商业 支持 版 本 。 
但 作为 学 习 ， 笔 者 仍然 推荐 Hadoop, ， 商 业 版 本 有 更 好 的 性 能 以 及 安全 性 ， 开 源 版 本 更 有 利 
于 我 们 通过 阅读 源 代码 学 习 Hadoop 的 工作 原理 。 
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|3. 2 Platform Symphony 


Hadoop 作为 开源 并 行 计 算 软 件 确实 为 用 户 提供 了 不 错 的 并 行 计 算 解决 方案 。 但 美 中 不 
足 的 是 它 缺 乏 商 业 支 持 。 本 节 将 介绍 另外 一 种 拥有 商业 支持 的 分 布 式 计 算 软 件 一 一 Platform 
Symphony。 











3.2.1 Platform Symphony 简介 


Platform Symphony 是 Platform Computing 公司 开发 的 面向 服务 的 并 行 计 算 软 件 。 用 户 可 以 
使 用 Symphony 提供 的 编程 接口 开发 应 用 程序 ， 为 多 个 用 户 提供 服务 。 根 据 该 公司 介绍 ， 早 
在 2001 年 他 们 就 发 布 了 Platform Symphony 1.0， 并 拥有 商业 客户 。 之 后 又 于 2006 年 推出 
Symphony DE 供 开 发 人 员 免 费 使 用 。 

Symphony DE 是 Platform Symphony 的 开发 人 员 版 本 ， 可 从 http://www. hpecommunity. org/ 
免费 下 载 。 为 方便 读者 构建 开发 环境 ， 并 能 免费 搭建 计算 环境 ， 本 节 着 重 介绍 Symphony DE, 

















3.2.2 初探 Symphony DE 





在 HPCCommunity 上 可 选择 Symphony DE 5.0 下 载 ，Symphony DE 5.0 支持 Windows， 
Linux 等 多 种 平台 。 本 节 以 Windows 平台 为 例 。Symphony DE Windows 安装 包 为 Sympho- 
nyDES. 0. 0_win32. msi， 双 击 安装 即 可 。 安 装 好 后 ， 在 右 下 角 会 显示 Symphony DE 图 标 ， 可 
单 击 鼠标 右键 一 Start Symphony DE on this host 启动 Symphony DE， 如 图 3-10 所 示 。 














Start Symphony DE on this host 


Start Symphony DE on all hosts 
Stop Symphony DE on all hosts 


Status For all hosts ... 
| About. 





图 3-10 启动 Symphony DE 





启动 Symphony DE 后 ， 再 次 单 击 鼠 标 右键 一 Platform Management Console, ， 就 可 以 打开 
Symphony DE 的 控制 界面 ， 如 图 3-11 所 示 。 

在 Symphony Workload 管理 界面 中 ， 可 以 看 到 有 两 个 应 用 可 以 使 用 ，symexec5. 0 和 
sympingS. 0, symexec 是 用 来 执行 远程 命令 的 服务 ， 用 户 可 以 使 用 symexec 来 执行 远程 命令 ， 
并 获得 远程 执行 的 命令 行 输出 结果 。 而 symping 是 Symphony DE 自 带 的 测试 程序 ， 默 认 配 置 
下 ， 它 可 以 向 Symphony DE 系统 发 送 20 个 并 发 任务 ， 并 给 出 每 个 任务 的 执行 情况 以 及 总 运 
行 时 间 ， 如 图 3-12 所 示 。 
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Z Welcome to Platform Management Console - Microsoft Internet Explorer 


Eile Edt view Favorites Tools Help =]] 
Qax- O-A A Alpah WFavories 8| 27 9 a 


Address |Æ) http://localhost: 18080/platform/index, de.jsp 


Platfornr 





Platform 
Management 
Console 
Developer Edition 





Welcome to Platform 
Management Console 
Developer Edition 


(91992-2009 Platform Computing Inc. All rights reserved. 


Platform Management Console Version 1.2 zi 


E 7 a A 
图 3-11 Symphony DE 控制 界面 


diHelp Knowledge Center gAbout 














Symphony DE 


2011-02-06 01:38:10 























ymping 
m Ses SSM SS SI Startup 
&Application State sumimaty Open Suspended Closed Aborted Host PID Failures 
symexec5.0 disabled - - - - Tc - - [actions zi 
symping5.0 enabled - 0 0 ü 0 - T [Actions zÍ 








KI 3-12 Symphony DE Workload 管理 界面 
单 击 Run Symping 链接 ， 将 可 以 看 到 symping 运行 页 面 ， 如 图 3-13 Bros, 


Platform Symping: Symphony Configuration Testing Tool 


Cluster Na ymphony DE 


Z | | Rm | Shortest Task Roundtrip Longest Task Roundtrip Avg Task Roundtrip Avg Processing Time 


10.365s 10.970s 10.483s 54.185ms 


Session roundtrip for 20 tasks is: 11.549s 


skaterTest 43.829ms 10472s 


skaterTest 50.602ms 10.4395 
Complete Workload Cycle v 


skaterTest 47.777ms 10431s 
skaterTest 51.639ms 10.3985 
skaterTest 50.825ms 10.4315 
skaterTest 57.373ms 10.3915 
skaterTest 42.005ms 10401s 
skaterTest 45.482ms 10.3995 
skaterTest 48.872ms 104005 
skaterTest 48.698ms 10.3655 
skaterTest 43.753ms 10.3855 
skaterTest 47.722ms 10.406s 


skaterTest 45.288ms 10.464s 





图 3-13 Symping 运行 结果 
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由 于 现在 只 有 一 台 计 算 机 ， 故 所 有 的 20 个 任务 都 在 该 计算 机 上 执行 ， 总 共 花 了 11.549 
So 另外 ， symping 还 可 以 在 命令 行 中 执行 ， 直接 在 命令 行 中 输入 symping Bl nf, 











3.2.3 Platform Symphony 架构 


Platform Symphony 使 用 主 从 式 结构 ， 由 主 服务 器 将 任务 发 送 给 从 服务 需 运 行 。 

Symphony 在 运行 中 会 启动 很 多 模块 ， 具 体 某 一 台 Symphony 管理 的 计算 机 中 运行 的 模块 
类 型 和 数目 取决 于 这 台 计 算 机 是 从 服务 器 还 是 主 服务 器 。 

在 主 服 务 吕 中， 主要 运行 有 SD 和 SSM, 

(1) SD (Session Director) 

SD 是 服务 注册 中 心 MEH Symphony 编程 接口 开发 的 应 用 程序 ， 需 要 注册 到 SD 中 , 77 
可 供 客户 端 访问 。 同 时 SD 负责 为 服务 启动 相应 的 任务 分 发 模块 SSM。 并 将 客户 端 与 SSM 连 
接 在 一 起 。 

(2) SSM (Symphony Session Manager ) 

SSM 作为 任务 的 分 配 者 ， 负 责 接 收 客户 端 的 任务 ， 并 根据 特定 的 调度 算法 (可 在 注册 
服务 时 配置 ) 将 任务 发 送 到 合适 的 从 服务 器 上 运行 。 

(3) SIM (Service Instance Manager) 

SIM 是 具体 的 任务 执行 者 ， 可 运行 在 主 服 务 器 与 从 服务 器 上 ， 在 从 服务 器 上 一 般 只 运行 
SIM 一 个 模块 。 它 从 SSM 获得 需要 执行 的 任务 ， 将 任务 执行 的 结果 返回 给 SSM， 由 SSM 统 
一 接受 结果 并 返回 给 客户 端 。 

(4) 集群 资源 管理 模块 (Resource Orchestrator) 

资源 管理 模块 负责 管理 Symphony 中 所 有 的 计算 资源 。 在 Symphony 的 收费 版 本 中 ， 这 个 
模块 提供 较为 细致 的 资源 分 配 信息 及 策略 ， 并 且 可 以 与 SSM 相 结合 完成 更 为 高 效 的 资源 调 
度 ， 同 时 具有 较 好 的 错误 处 理 功能 ， 能 自动 监测 资源 状况 防止 重要 模块 运行 失败 。 我 们 所 使 
用 的 是 Symphony DE 自 带 的 资源 管理 模块 相对 正式 版 ， 资 源 分 配 策略 比较 简单 ， 另 外 不 提供 
监控 维护 模块 的 功能 ， 如 图 3-14 所 示 。 


SD 服务 注册 中 心 
SIM 任务 执行 者 























服务 端 编程 接口 











客户 端 编程 接口 


SSM 任务 的 分 配 者 





集群 资源 管理 模块 (Resource Orchestrator) 





图 3-14 Platform Symphony 架构 


3.2.4 多 机 环境 配置 Symphony DE 


在 3.2.2 节 中 ,我们 将 Symphony DE 安装 到 了 一 台 计 算 机 上 ， 本 市 将 介绍 添加 Sympho- 
ny DE 计算 节点 的 方法 。 

1) 在 被 添加 为 计算 节点 的 机 器 上 安装 Symphony DE 安装 包 ， 并 使 用 symping 命令 测试 
安装 是 否 正确 。 这 里 要 注意 的 是 ， 新 安装 的 计算 节点 上 不 要 有 其 他 程序 使 用 8000 端口 
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( Symphony DE 计算 节点 之 间 需 要 使 用 8000 端口 通信 ) 。 

2) 选 定 一 台 安 装 了 Symphony DE 的 计算 机 作为 主 服务 器 ， 在 主 服务 器 的 Symphony 安装 
目录 C. \Symphony DENDESO Vconf 下 找到 vem. resource. conf 文件 。 

笔者 有 两 台 安 装 了 Symphony DE 的 虚拟 机 ，skaterTest 和 SkaterTest2 ，skaterTest 为 主 服 
务 器 ， 配 置 如 代码 清单 3-9 所 示 。 

【代码 清单 3-9]】 





# 

# 资源 配置 文件 

# 

# 文 件 格式 : 

# < service name > : < port_number > : < host, name > : < Optionl > : < Option2 > : <.... > 
3t Valid service names are; AGENT, SD SDK, SD. ADMIN, RS DEPLOY, WEBGUI 

# 

# AGENT service information 

# < service name > ; < port_number > : < host_name > : < max number of SSMs SD can start > : < max 
number of SIMs SSM can start > : < OS type > :<CPU_factor > 

# 主 服务 顺 

AGENT :8000: skaterTest:20:2:NTX86:1 

# 从 服务 顺 

AGENT 9000: skaterTest2:0:2:NTX86:1 


# 

# SD service information 

# < service name > ; < port_number > : < host_name > : < sd startcmd > 
# 

SD_SDK .15051. skaterTest:sd 

SD_ADMIN:15050; skaterTest :sd 


# 

# RS service information 

# < service name > ; < port. number > ; < host, name > ; < rs startcmd > 
# 

RS DEPLOY : 15052, skaterTest :Ts 


# 

# GUI service information 

# < service name > ; < port_number > ; < host_name > ; < gui startcmd > 
# Note:The port number of WEBGUI is fixed as 18080. 

# 

WEBGUI: 18080 : skaterTest ; startguiservice 
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注 : 在 Symphony 中 ， 加 入 Windows 操作 系统 的 计算 机 时 ， 需 去 掉 选 取 “ 控 制 面板 一 文 
件 夹 选 项 一 查看 一 简单 的 文件 共享 "， 否 则 无 法 加 入 新 节点 。 

3) 将 更 新 过 的 vem, resource. conf 文件 复制 到 所 有 的 Symphony DE 从 服务 器 中 的 C.\ 
SymphonyDE V DE50 \ conf HRK Fo 

4) 关闭 所 有 的 Symphony DE 服务 右 ， 重 新 启动 Symphony DE IKI AFIT, 一定 要 先 启动 
主 服务 器 。 

5) 再 次 使 用 symping 命令 测试 程序 并 查看 运行 结果 ， 如 图 3-15 所 示 。 


Help 


Platform Symping: Symphony Configuration Testing Tool 


Cluster Name: Symphony DE 2011-04-23 22:50:13 


Va | | Rm — | Shortest Task Roundtrip Longest Task Roundtrip Avg Task Roundtrip Avg Processing Time 
3.613s 4.023s 3.858s 54.040ms 


Session roundtrip for 20 tasks is: 4.130s 


skaterTest2 55.790ms 

skaterTest2 53.635ms 

skaterTest 57.630ms 

skaterTest 48.723ms 

skaterTest? 58.329ms 3 [1 
| 


skaterTest2 54.303ms 


skaterTest2 55.843ms " 
a symping5.0 v 
skaterTest2 54.259ms 5 
RecoverableAllHistoricalData — v. 


skaterTest2 47 106ms 


skaterTest2 45.713ms 
skaterTest2 52.955ms 
skaterTest2 54.207ms 
skaterTest2 72.360ms 








图 3-15 使 用 两 台 虚 拟 机 运行 symping 命令 的 结果 
从 执行 结果 中 我 们 可 以 看 到 ，symping 执行 20 个 任务 所 花 时 间 为 4. 13s， 还 不 到 使 用 单 
机 执行 symping 时 间 的 一 半 。 


3.2.5 使 用 Symphony DE 编写 程序 


Symphony 支持 CAC ++ ，jJava，C# 等 多 种 编程 语言 ， 并 为 程序 员 提 供 了 相应 的 代码 实 
例 。 读 者 可 以 在 Symphony 的 安装 目录 中 找到 这 些 实例 代码 (C:\SymphonyDE\DE50\5.0\ 
samples ) 。 

本 节 仍 然 使 用 Java 程序 为 例 讲 解 。 

打开 Eclipse， 单 击 File Import Existing Projects into Workspace， 将 示例 代码 C; \Sym- 
phonyDE \DE50\5. 0\samples\Java\SampleApp 加 入 工程 ， 如 图 3-16 所 示 。 

Symphony 中 的 Java 实例 提供 了 An 工程 构建 文件 ， 读 者 可 以 用 Eclipse 集成 的 Ant 工具 
编译 并 打包 工程 ， 输 出 如 下 所 示 。 


all: 

[jar] Building jar; SampleServiceJava. jar 

[jar] Building jar; SampleServiceJavaPackage. jar 
BUILD SUCCESSFUL 


Total time: 1 second 
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Java — SanpleApi Eclipse SDE 






r3 &&it-0-Qq- ia G-: 4- i$) im idol o- 








Fi- Ej 35 Debug [E Java | 
[HE Package Explorer 23. cmi (B Outline 23^ EI 








[zin i9 «project name-"SampleApplication" default-"all" 





kd Sanplehpp 29 <description> 
由 四 sre 3 SampleApplication build file 
-BÀ JRE System Library [jdkl 4 «/description» 
-BÀ Referenced Libraries 5 <!-- set global properties for this project build --> 
| E spi. sketer.1og 6 <property name-"project.name" value-"SampleApplication"/» 
ff] build bat 7 <property name-"version" value-"0.1"/» 
$ build xal 8 «property name-"year" value-"2006"/» 
9 


[S] RanAsyneclient.bat 
[E] Runcon. platform. symphony. sample 
[S] Ransyneclient.bat 
E SanpleAppJava. xnl 
BB SanpleServi ceJava. jar 
BB SampleServiceJavaPackage. jar 


version) [S$(vea 
Platform Compu: rporation---"/» 


«echo message-" 
«echo message- 
«property name-"src" location: 
«property name-"build" location-"bin" /» 
«property name-"SvcPack" value-"SampleServiceJava.jar" /> 
«property name-"DplPack" value-"SampleServiceJavaPackage " /> 
«property name-"SvcScript" value=" 
| «property name-"PackageName" value: 















com/platform/symphony/samples/SampleApp" /» 
«path id-"classpath"» 
«pathelement path-"../../../../5.0/win32-vc7/lib/JavaSoamApi.jar" /> 


</path> 


<target name="init"> 
<!-- Create the time stamp --> 
<tstamp /> 
<!-- Create the build directory structure used by compile --> 
<mkdir dir="${build}" /> 

</target> 











MOMONOS IS IS ISTIS TOT IO 


«target name-"compile" depends-"init" description-"compile the source " 
«!-- Compile the java code from $(src) into $(build) --> 
<javac srcdire"$(src)" destdir-"S(build)"» 
«classpath refid-"classpath" /> 








3-16 SampleApp 实例 


BOW GR GG 





acom. platform. symp! .samples.SampleApp.service.MySe: 





E A SanpleApplication 
€? description 
<B> project. nane 
<B> version 
4 year 
<> echo 
<> echo 
4D sre 
4B» build 
<B> SvcPack 
<DE> DplPack 
4D» SvcScript 
“E> PackageName 
由 -8》 classpath 
由 -图 init 
59 compile 


[ $8 ar cer ] 
AEI 


现在 将 SampleApp 部 署 到 Symphony 上 运行 。 右 击 Symphony 运行 图 标 ， 选 择 Add or Re- 


move Application, ， 如 图 3-17 所 示 。 





Stop Symphony DE on this host 





Start Symphony DE on all hosts 
Stop Symphony DE on all hosts 





Platform Management Console 








Status for all hosts ... 
About ... 


Exit [wphony DE tC 


3-17 添加 应 用 























Symphony DE 会 单 击 一 个 添加 应 用 向 导 ， 这 里 会 要 求 用 户 添 加 应 用 配置 文件 ， 用 户 可 以 
选择 使 用 C; VSymphonyDE V DESO \ 5.0 V samples V Java V SampleApp V SampleAppJava. xml, All 


图 3-18 所 示 。 


Platform Aaa / Remove Application Too! 





Adding an Application 


This tool will help you add your Symphony applications quickly and easily. Wizards can be used for typical getting-started scenarios with basic default settings 








m What do you want to do? 


G) Use existing profile and add application - wizard: 
New application: Based on an existing profile. 


(You already have service code and an application profile from a sample application OR one you have created in DE or grid.) 


* My application profile (.xml) 





© Create new profile and add application - wizard: 
New application: Build a profile with basic settings. 
(You already have service code, but you do not have an existing application profile.) 




















图 3-18 添加 应 用 向 导 
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接 下 来 就 是 选择 应 用 程序 包 ， 这 里 选择 C:\SymphonyDE\DE50\5. 0 \samples \ Java \ Sam- 


pleApp\SampleServiceJavaPackage. jar ， 如 图 3-19 所 示 。 


Platform Aaa; Remove Application Tool 
ESI 5] 


Step 1: Identify Service Packages 





The application profile you have provided defines one or more Services. 


Specify the location of the package associated with the following services 





r- v sample Service 
Service Name sampleService 
Package Location WA... 























Service Start Command: cmd.exe /c cmd.exe /c $(SOAM DEPLOY DIRY/Run com.platform.symphony. samples. SampleApp serv ice.MyService.bat 





图 3-19 选择 应 用 程序 包 
Symphony DE 的 集成 环境 很 容易 使 用 ， 一 直 单 击 Continue ， 直 到 最 后 确认 。 整 个 过 程 全 





部 通过 鼠标 完成 。 部 署 成 功 后 ， 可 以 在 Symphony DE 管理 界面 看 到 应 用 ， 如 图 3-20 所 示 。 


Symphony Workload 
Monitor Workload Configure Applications. Manage Service Packages 
D DE 





Applications : Run Symping «Run Executable 








& Application State Session summa Open Suspended Closed Aborted SSMHost SSMPID SI Startup Failures 
SampleAppJava enabled - o 0 o 0 - Actions Y 
symexec5.0 disabled - 





LX 
[Actions vj 


symping5.0 enabled - 0 


lo 
lo 


0 skater 3252 - [Actions v] 
图 3-20 SampleApp 部 署 成 功 

现在 应 用 程序 已 经 作为 服务 部 署 在 Symphony 环境 中 ， 随 时 等 待 用 户 的 调用 。 
现在 可 以 运行 客户 端 类 com. platform. symphony. samples. SampleApp. client. SyncClient, ， 用 

















户 将 看 到 10 个 任务 被 发 送 给 Symphony 并 得 到 执行 结果 其 源 代 码 如 代码 清单 3-10 所 示 。 
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【代码 清单 3-10]】 


connection ID = 00ccf31e-0000-1000-c001-00238bdd600e-1420-940 
Session ID :2 
task submitted with ID : 1 


Task Succeeded | 1 ] 
Your Internal ID was : 0 


Estimated runtime was recorded as : Sun Apr 24 22:21:02 CST 2011 
Client sent : Hello Grid !! 
Symphony replied : Hello Client !! 


All Done !! 
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(1) 编程 模型 

与 MapReduce 架构 类 似 ，Symphony 也 提供 了 相应 的 并 行 开 发 编程 模型 。 用 户 将 能 够 并 
行 计算 的 多 辑 封 装 在 任务 (Task) 中。 通过 建立 与 Symphony 运行 环境 间 的 连接 ( Connec- 
tion) 创建 会 话 (Session) 。 使 用 Session 与 Symhony 交互 发 送 任务 并 接收 任务 的 运行 结果 。 
与 MapReduce 相 比 ，Task 的 编程 接口 相对 直接 。 

(2) 分 析 SampleApp 程序 

下 面 来 分 析 一 下 SampleApp 中 的 SyncClient 客户 端 程序 ， 如 代码 清单 3-11 所 示 。 

【代码 清单 3-11] 





























package com. platform. symphony. samples. SampleApp. client; 
import com. platform. symphony. soam. * ; 


import com. platform. symphony. samples. SampleApp. common. * ; 


class SyncClient 
| 
public static void main( String args[ ] ) 
| 
try 
| 
// 初 始 化 Symphony, SOAM 代表 Service Orient Application Middle Ware 


SoamFactory. initialize( ) ; 


// 设 置 服务 名 称 ,服务 名 称 需 要 与 服务 定义 中 定义 的 一 致 
String appName = " SampleAppJava" ; 


// 设 置 连接 Symphony 的 用 户 名 密码 
DefaultSecurityCallback securityCB = new DefaultSecurityCallback ( " Guest" , " Guest" ) ; 


Connection connection = null ; 
try 


| 





// 创 建 连接 


connection = SoamFactory. connect( appName ，securityCB ) ; 


/打印 当前 连接 TD 


System. out. println( " connection ID = 


M" 


+ connection. getId( ) ) ; 





// 设 置 会 话 属性 


SessionCreationAttributes attributes = new SessionCreationAttributes( ) ; 





W 


attributes. setSessionName( " mySession" ) ; 
attributes. setSessionType( " ShortRunningTasks" ) ; 
attributes. setSessionFlags ( Session. SYNC) ; 
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// 创 建 一 个 同步 会 话 


Session session = null; 


try 


| 


session = connection. createSession( attributes ) ; 


人 /打印 会 话 ID 


System. out. printIn( " Session ID;" + session. getId( ) ) ; 























// 现 在 将 任务 的 输入 通过 消息 发 送 给 Symphony 
int tasksToSend = 10; 
for (int taskCount 20; taskCount < tasksToSend; taskCount ++ ) 


| 





// 创 建 消息 
MyInput myInput = new MyInput( taskCount, "Hello Grid !!") ; 





// 设 置 任务 输入 消息 


TaskSubmissionAttributes taskAttr = new TaskSubmissionAttributes( ) ; 


taskAttr. setTaskInput( myInput) ; 





// 发 送 消 息 


TaskInputHandle input = session. sendTaskInput( taskAttr) ; 


// 打 印 任务 ID 
System. out. println( " task submitted with ID ; " + input. getId( ) ) ; 





// 同 步 获 取 所 有 任务 的 输出 


Enumltems enumOutput = session. fetchTaskOutput( tasksToSend ) ; 


// 使 用 迭代 咒 获 取 任 务 执行 结果 


TaskOutputHandle output = enumOutput. getNext( ) ; 





2 


while ( output! = null) 
| 
// 检 查 任务 是 否 成 功 
if ( output. isSuccessful( ) ) 


| 














// 得 到 服务 端 发 回 的 消息 
MyOutput myOutput = ( MyOutput) output. getTaskOutput( ) ; 














A/ 打印 服务 端 发 回 的 消息 


System. out. println(" \nTask Succeeded [" + output. getld() +"]"); 
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System. out. println(" Your Internal ID was : " 4 myOutput. getId( ) ) ; 


System. out. println( " Estimated runtime was recorded as ; " 


+ my- 
Output. getRunTime( ) ) ; 


System. out. println( myOutput. getString( ) ) ; 


// 任 务 不 成 功 ,打印 原因 


SoamException ex = output. getException( ) ; 








System. out. println( " Task Not Successful ; "); 
System. out. printIn( ex. toString( ) ) ; 
| 


output = enumOutput. getNext( ) ; 


} 
finally 
| 
// 关 闭会 话 
if (session! = null) 
| 
session. close( ) ; 


System. out. println( " Session closed" ) ; 


} 
finally 
| 
/关闭 连接 
if ( connection! = null) 
| 
connection. close( ) ; 


System. out. println( " Connection closed" ) ; 


| 

catch ( Exception ex) 

| 
// 捕 获 所 有 可 能 的 异常 
System. out. println( " Exception caught:" ) ; 
System. out. println( ex. toString( ) ) ; 

| 

finally 
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// 清 理 与 所 有 Symphony 设置 ,结束 程序 


SoamFactory. uninitialize( ) ; 





System. out. println( " All Done !!") ; 





上 面 的 客户 端 程序 说 明 Symphony 客户 端 通过 消息 封装 的 形式 将 输入 参数 发 送 给 服务 端 。 
输入 消息 封装 ， 如 代码 清单 3-12 所 示 。 
【代码 清单 3-12】 


package com. platform. symphony. samples. SampleApp. common ; 


import java. io. Serializable ; 


public class MyInput implements Serializable 


| 


public MyInput( ) 
| 


super( ) ; 
m id = 0; 


publie MyInput( int id, String string) 
| 

super( ) ; 

m id = id; 


m string — string; 


public int getId( ) 
| 


return m, id; 


publie void setId( int id) 


| 
m id = id; 
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public String getString( ) 


| 


return m, string; 


public void setString( String string) 


| 


m string = string; 


private int m, id; 


private String m string; 
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private static final long serialVersionUID = 1L; 

















SampleApp 的 服务 端 程序 接收 数据 ， 经 相应 处 理 后 将 结果 封装 在 com. platform. Ap 
ny. samples. SampleApp. common. MyOutput (参见 SampleApp 实例 程序 ) 中 并 传 给 客户 端 ， 其 


代码 如 代码 
【代码 清 


青 单 3-13 所 示 。 
B 53-13] 





package com. platform. symphony. samples. SampleApp. service; 


import com. platform. symphony. soam. * ; 


import java. util. Date; 


import com. platform. symphony. samples. SampleApp. common. * ; 


public class MyService extends ServiceContainer 


| 


MyService( ) 
| 


super( ) ; 


publie void onCreateService( ServiceContext serviceContext) throws SoamException 


| 


J sese 











* 开发 人 员 可 以 在 这 里 写 








茶 些 初始 化 程序 . 


publie void onSessionEnter( SessionContext sessionContext) throws SoamException 


| 
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publie void onInvoke ( TaskContext taskContext) throws SoamException 
| /编写 服务 端 逻 辑 

// 获取 客户 端的 输入 数据 

MyInput myInput = (Mylnput) taskContext. getTaskInput( ) ; 





MyOutput myOutput = new MyOutput( ) ; 

/设置 时 间 

Date date = new Date( ) ; 

myOutput. setRunTime( date. toString( ) ) ; 

// 将 服务 端 时 间 发 送 给 客户 端 

myOutput. setId ( myInput. getId( ) ) ; 

StringBuffer sb = new StringBuffer( ) ; 

sb. append( " Client sent ; "); 

sb. append ( myInput. getString( ) ) ; 

sb. append ( " Symphony replied : Hello Client !!") ; 
myOutput. setString( sb. toString( ) ) ; 

// 设置 输出 消息 


taskContext. setTaskOutput ( myOutput ) ; 


























} 
// 服 务 端 Main 方法 
public static void main( String args[ ] ) 


| 





int retVal = 0; 


try 


| 





// 创建 服务 端 容器 并 运行 
MyService myContainer = new MyService( ) ; 
myContainer. run( ) ; 
| 
catch ( Exception ex) 
| 
// Report the exception to stdout 
System. out. println( " Exception caught:" ); 
System. out. println( ex. toString( ) ) ; 
retVal = -1; 
| 


System. exit( retVal) ; 














笔者 比较 喜欢 通过 消息 封装 输入 输出 参数 的 做 法 ， 这 种 封装 方式 很 方便 与 老 业 务 集成 
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(在 稍 后 的 应 用 章节 中 将 会 详细 介绍 ) ， 并 且 在 进行 集成 时 ， 对 开发 人 员 来 说 也 很 顺理成章 。 
此 外 ， 针 对 Java 语言 ，Symphony 还 提供 Eclipse 集成 开发 插件 供 Java 开发 人 员 使 用 。 插 
件 的 目录 为 C:\SymphonyDE\DF50\5. 0 Vwin32 - vc7 \plugins \eclipse。 安 装 后 可 以 创建 Sym- 
phony 工程 ， 如 图 3-21 所 示 。 


Select a wizard 


Create a Java class 


Wizards: 











a: 


E Interface 
gè Java Project 
X Java Project from Existing Ant Buildfile 
gs Plug-in Project 
HS General 
H- CVS 
H- Java 
HS Plug-in Development 
ES Symphony 
UE Symphony Java Application (Blank Project) 
vH Symphony Java Application (with Generated Code) 
W- User Assistance 

















图 3-21 f£ Eclipse 中 创建 Symphony 工程 


总 的 来 说 ，Symphony 为 开发 人 员 提 供 了 一 种 有 商业 支持 的 并 行 计算 软件 。 这 款 软件 拥 
有 较 好 的 集成 开发 环境 ， 可 以 免费 使 用 ， 遇 到 问题 时 还 可 以 选择 商业 支持 。 


[3.3 云 数 据 库 


通过 前 面 的 介绍 ， 相 信 读 者 已 经 对 并 行 计算 有 了 一 定 的 了 解 。 然 而 在 实际 的 开发 中 ,很 

多 业务 的 数据 是 存储 在 数据 库 中 的 ， 比 如 很 多 计 费 软件 将 大 量 的 用 户 日 常 业务 数据 存储 在 数 

据 库 中 ， 数 据 量 很 大 ， 如 何 维护 以 及 高 效 地 使 用 大 量 数据 确实 是 一 个 问题 。 云 计算 中 提供 了 
相应 的 数据 库 解 决 方案 。 

提出 云 计 算数 据 库 框 架 的 依然 是 Google AF], Google 称 其 为 Bigtable ， 根 据 Google 发 布 
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的 文档 ，Google 地 球 和 Google 金融 都 使 用 了 Bigtable 作为 数据 库 ， 该 数据 库 具备 良好 的 大 数 
据 量 存储 以 及 实时 数据 访问 的 能 力 。 使 用 过 Google 地 球 或 者 Google 金融 的 读者 会 发 现 ， 这 
两 款 Google 产品 所 需 访问 的 数据 量 是 巨大 的 并 且 用 户 有 实时 性 要 求 。 如 果 将 Google 的 技术 
应 用 在 日 常 开发 的 系统 中 ， 无 疑 可 以 使 需要 访问 大 数据 量 的 应 用 程序 在 性 能 方面 上 一 个 台 
阶 。 但 问题 是 Google 并 没有 把 Bigtable 作为 一 个 单独 的 产品 发 布 。 所 以 开源 社区 根据 Google 
的 描述 开发 了 相应 的 云 数 据 库 。C:\Windows VSystem32 Mrivers Vete 
































3.3.1 HBase 


HBase 是 为 Hadoop 开发 的 数据 库 。 它 遵循 Google Bigtable 的 设计 思路 ， 专 注 于 解决 大 数 
据 量 的 表 (十 亿 行 左右 ， 上 百 万 列 的 表 ) ， 并 且 提 供 较 为 快速 的 读 写 这 些 大 数据 量 的 操作 。 

很 多 读者 可 能 有 关系 型 数据 库 的 使 用 经 验 ，HBase 也 好 ，Bigtable WE, 虽然 它 们 都 沾 
了 “Base” 和 “Table” 的 边 , 但 其 数据 模型 与 传统 的 关系 型 数据 库 相 距 其 远 。Bigtable 的 文 
档 中 对 数据 模型 的 描述 是 “Bigtable 是 一 个 稀 玻 式 的 、 分 布 式 的 、 持 和 久 化 存储 的 ， 多 维 排序 
图 (Map)” 这 句 话 比较 精炼 ， 概 括 了 Bigtable 的 数据 模型 ， 所 有 的 修饰 词 都 用 来 修饰 Map 
这 个 关键 词 。 单 纯 理 解 这 句 话 比较 困难 ， 下 面 通过 学 习 HBase 来 理解 。 


3.3.2 初探 HBase 


安装 HBase， 如 代码 清单 3-14 所 示 
[ 87$ 8 3-14] 






































解压 缩 安 装 包 
tar - xzvf hbase — 0. 90. 1. tar. gz 


cd hbase —0. 90. 1 
配置 conf/hbase — site. xml 
<? xml version Z" 1. O^? > 
<? xml - stylesheet type = " text/xsl" href = " configuration. xsl"? > 
< configuration > 
< property > 
< name > hbase. rootdir < /name > 
< value > file :////data/hadoop/hbase — 0. 90. 1/data/hbase < /value > 
< / property > 


< / configuration > 


将 HBase 数据 存储 在 /data/hadoop/hbase - 0. 90. 1/data/hbase 目录 下 。 
现在 使 用 HBase 创建 一 个 名 为 Person 的 表 ， 这 个 表 有 三 列 id, name 和 gender, 
通过 以 下 命令 启动 Hbase 。 
. / bin/start — hbase. sh 
创建 表 ， 如 代码 清单 3-15 所 示 。 
【代码 清单 3-15]】 
启动 Habase shell 
90 
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. / bin/hbase shell 








hbase( main) :001:0 > create' person ,' personcf # 创 建 表 Person , 它 拥有 一 个 名 为 personcf 的 
列 族 
0 row(s) in 3. 2650 seconds 


插入 数据 ， 如 代码 清单 3-16 所 示 。 
【代码 清单 3-16] 


hbase( main) :004:0 > put person ,' skater , personcf;id ,' 1' 
0 row(s) in 0. 1580 seconds 
hbase( main) :005:0 > put person ,' skater ,' personcf;name ,' XuQiang 


0 row(s) in 0. 0280 seconds 


hbase( main) :006:0 > put person ,' skater ,' personcf;gender ,' male 


0 row(s) in 0. 0240 seconds 


从 表 中 查询 行 名 为 skater 的 数据 ， 如 代码 清单 3-17 所 示 。 
【代码 清单 3-17】 





hbase( main) :012:0 > get person skater 


COLUMN CELL 

personcf : gender timestamp = 1301982347889 , value = male 
personcf: id timestamp = 1301982336404 , value = 1 
personcf ; name timestamp = 1301982342997 , value = XuQiang 


查看 表 person 中 的 所 有 数据 ， 如 代码 清单 3-18 所 示 。 
【代码 清单 3-18 】 





hbase( main) :013 :0 > scan person 

ROW COLUMN + CELL 

skater column = personcf: gender, timestamp = 1301982347889 , value = male 
skater column = personcf:id, timestamp = 1301982336404, value = 1 

skater column = personcf; name, timestamp = 1301982342997 , value = XuQiang 
1 row(s) in 0. 2070 seconds 


通过 这 一 节 ， 我 们 成 功 地 在 HBase 中 创建 并 插入 了 数据 ， 但 在 这 个 过 程 中 我 们 遇 到 了 
几 个 新 名 词 ， 如 列 族 以 及 行 名 。 使 用 过 关系 型 数据 库 的 读 考 会 发 现 HBase 创建 以 及 展示 一 
行 数据 的 方法 与 一 般 的 关系 型 数据 库 不 同 。 带 着 这 些 问题 ， 让 我 们 开始 HBase 基础 概念 的 


学 习 。 





3.3.3 HBase 概念 





本 节 围 绕 Bigtable 的 定义 “A Bigtable is a sparse, distributed, persistent multidimensional 
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sorted map. ”来 进行 讲解 。 

(1) Map 

Map 是 HBase 与 BigTable 的 核心 概念 。Map 这 种 结构 类 型 就 是 < key, value > 键 值 对 
的 集合 。 很 多 编程 语言 中 都 有 这 种 数据 类 型 。 比 如 在 Java 语言 中 ， 可 以 通过 Map < String， 
Object > person = new HashMap < String, Object > () ; 建立 一 个 Person 对 象 。 要 取得 某 个 记 
录 ， 可 以 通过 HashMap. get (HE) 来 获得 ， 而 键 值 就 是 行 名 称 。 一 个 表 就 是 一 个 Mapo 

HBase 就 是 把 内 存 中 的 Map 数据 写 入 了 文件 ， 并 保持 与 内 存 中 相同 的 数据 存储 方式 。 

(2) Multidimensional 

提 到 Multidimensional (多 维 ) 概念 ， 就 要 说 一 下 HBase 的 列 概念 ， 列 概 念 同 样 与 传统 
的 关系 型 数据 库 不 太一 样 ， 列 概念 可 以 理解 为 般 套 的 Map 中 的 键 值 。 

比如 在 上 节 中 ， 我 们 通过 get person ,' skater 来 得 到 行 名 skater 中 所 有 的 列 信息 ， 
HBase 在 存储 数据 的 时 候 使 用 了 髓 套 Map 的 数据 结构 。 对 应 上 节 中 的 例子 ， 存 储 结构 如 代码 
清单 3-19 所 示 。 

【代码 清单 3-19]】 












































Person | 
Skater | 
Personcf :Id 1 
Personcf; Name XuQiang 
Personcf; Gender male 


| 
| 


转换 为 Java 程序 如 代码 清单 3-20 所 示 。 
【代码 清单 3-20] 


// 构 造 skater 对 象 

Map < String, String > skater = new HashMap < String, String > (); 
skater. put(" id" ," 1") ; 

skater. put( " name" , " XuQiang" ) ; 

skater. put( " gender" ," male" ) ; 

// 构 造 person 对 象 

Map «String, skater > person = new HashMap < String, skater > (); 
// 将 skater 对 象 装 入 person 对 象 


person. put( " skater" ,skater) ; 








在 这 里 ， 列 id，name 和 gender 是 Person Map "T EX-EIJ Map skater 对 象 的 键 值 。 而 skater 
对 象 就 是 行 名 称 。Skater 对 象 中 的 键 值 集 合 称 为 列 族 ， 在 这 里 取 名 为 Personcf。HBase 允许 
每 一 行 所 对 应 的 列 名 不 同 。 这 也 是 伦 套 Map 数据 结构 所 允许 的 。 

比如 ， 再 创建 一 个 新 的 Map 对 象 名 为 Swimmer， 该 对 象 可 以 只 有 一 个 














性 。 


wl 
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Map < String, String > swimmer = new HashMap < String, String >(); 
swimmer. put( " behavior" ," swim" ) ; 


person. put( " Swimmer" , swimmer) ; 





我 们 依然 可 以 将 它 放 入 person Map 中 存储 。 所 以 说 HBase 就 是 将 内 存 中 的 Map 数据 类 
型 固化 到 了 文件 系统 中 。 

(3) Sparse 

有 了 表 , 行 和 列 的 概念 ， 我 们 来 考虑 一 下 sparse 这 个 词 ， 这 个 词 译 为 “ 稀 琉 ”。 在 列 族 
中 ， 各 行 的 列 名 可 以 不 同 , 或 者 某 一 行 可 以 一 列 也 没有 ， 这 就 叫做 “ 稀 玖 ”( 数 据 属性 不 统 
一 )。 与 传统 关系 型 数据 库 相 比 ， 稀 玖 存储 的 数据 可 以 做 到 根据 需要 存储 。 而 在 关系 型 数据 
库 中 ,不 管用 户 是 否 真 的 需要 给 某 一 列 存储 数据 ， 都 必须 占用 固定 的 空间 。 

(4) Distributed 

HBase 可 以 建立 在 分 布 式 文件 系统 之 上 (比如 HDFS) ， 这 样 HBase 所 存储 的 数据 可 以 
借助 分 布 式 文件 系统 的 功能 ， 分 散 存 储 到 多 台 计 算 机 上 。 同 时 ， 数 据 可 以 利用 分 布 式 文件 系 
统 的 备份 功能 ， 在 每 台 计算 机 上 实现 数据 备份 。 

(5) Sorted 

在 HBase 中 存储 的 数据 会 按照 键 值 的 字母 顺序 进行 排列 。 

比如 在 skater 行 中 使 用 的 id, name 以 及 gender 列 ， 在 取出 的 时 候 顺 序 为 gender, id 和 

这 样 做 的 第 一 个 优点 是 大 大 节省 了 查询 时 排序 的 时 间 损 耗 。 因 为 此 类 系统 一 般 存储 大 量 
的 数据 ， 如 果 取 数据 的 时 候 再 排序 ， 会 耗费 大 量 的 计算 时 间 ， 故 在 存储 的 时 候 就 按照 一 定 的 
顺序 存放 数据 ,来 缩短 查询 的 时 间 。 另 一 个 优点 是 ， 由 于 使 用 行 名 作为 键 值 ， 与 其 一 行 名 类 
似 的 行 名 在 存储 上 也 是 相 邻 的 ， 这 提高 了 相关 关键 字 查 找 的 效率 。 比 如 ， 在 传统 关系 型 数据 
库 中 用 户 要 查找 所 有 以 “s” 开 头 的 数据 ， 则 需要 遍历 整 张 表 。 而 在 HBase 中 ， 只 要 找到 第 
一 个 开头 为 “s” 的 记录 ， 再 找到 第 一 个 开头 不 为 “s” 的 记录 就 可 以 找到 所 有 以 “s” 开 头 
的 记录 。 

现在 我 们 掌握 了 HBase 的 基本 概念 ， 让 我 们 将 HBase 部 署 到 分 布 式 环 境 中 。 


3.3.4 再 探 HBase 


分 布 式 HBase 需要 Hadoop HDFS 的 支持 ， 通 过 学 习 3.1.6 节 ， 相 信 各 位 读者 已 经 搭建 
T HDFS 分 布 式 文件 系统 。 

分 布 式 HBase 需要 另外 一 个 开源 项 目 Zookeeper (分 布 式 应 用 服务 框架 ) 的 支持 。 

在 这 里 并 不 展开 讨论 zookeeper， 我 们 主要 关心 怎么 样 将 HBase 建立 在 分 布 式 环境 中 。 

在 新 版 的 HBase 安装 包 中 已 经 包含 了 zookeeper。 

因此 只 需 对 HBase 稍 加 配置 即 可 ， 如 代码 清单 3-21 所 示 。 

【代码 清单 3-21 】 






























































conf/hbase — site. xml 
< configuration > 
< property > 
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« name > hbase. rootdir < /name > 
< value > hdfs .//skatertest :9000/hbase < /value > 
« / property > 
< property > 
< name > hbase. cluster. distributed < /name > 
< value > true < / value > 
< / property > 
< property > 
< name > hbase. zookeeper. quorum < /name > 
< value > skatertest < /value > 
< description > Comma separated list of servers in the ZooKeeper Quorum. 
If HBASE_MANAGES_ZK is set in hbase — env. sh this is the list of servers which we will start/stop Zoo- 
Keeper on. 
« / description > 
« / property > 
« property > 
« name > hbase. zookeeper. property. dataDir < /name > 
< value > /data/hadoop/zookeeper/ snapshot < / value > 
< description > Property from ZooKeepet s config zoo. cfg. 
'The directory where the snapshot is stored. 
« / description > 
« / property > 


« / configuration > 





配置 conf/ regionservers, ， 这 个 文件 与 Hadoop 的 Slave 文件 类 似 ， 都 是 用 来 配置 从 服务 需 
的 。 在 本 例 中 它 包 含 两 个 计算 节点 ， 内 容 如 下 所 示 。 


skatertest 


skatertestl 


特别 注意 一 点 ， 需 要 将 Hadoop 文件 夹 下 的 hadoop - 0.20.2 - core. jar. 库 文 件 复制 到 
hbase/lib 文件 目录 下 ， 否 则 无 法 正常 启动 HBase。 

启动 之 后 ， 可 以 把 在 3. 3. 2 节 中 创建 的 person 表 在 分 布 式 环境 下 载 创建 一 遍 ， 以 确认 
HBase 正常 工作 。 如 代码 清单 3-22 所 示 。 

【代码 清单 3-22]】 





[und 


ARIA 


import java. io. IOException; 





// 使 用 HBase 
public class HBaseTest | 


public static void main( String[ | args) throws IOException | 
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// T£ Java CLASSPATH 文件 夹 中 创建 hbase - site. xml 文件 ,该 文件 用 于 存放 HBase 主机 
的 配置 信息 























final String tableName = "person" ; 
final String columnFamily = "personcf" ; 
final String nameColumn = " Name" ; 
final String emailColumn = "Email" ; 


Configuration config = HBaseConfiguration. create( ) ; 
// 创建 person 3€ 
HBaseAdmin admin = new HBaseAdmin( config) ; 
if( | admin. tableExists( tableName) ) | 
HTableDescriptor personTable Desc = new HTableDescriptor( tableName) ; 





personTable, Desc. addFamily ( new HColumnDescriptor( columnFamily ) ) ; 


admin. createTable( personTable Desc); 





// 使 用 person 表 
HTable table = new HTable( config, " person" ) ; 





// 创建 skater 记录 
Put p = new Put( Bytes. toBytes( " skater" ) ) ; 
// 设置 列 族 、 列 名 与 列 值 
p. add( Bytes. toBytes( columnFamily ) , 
Bytes. toBytes( nameColumn) , Bytes. toBytes( " skater Qiang" ) ) ; 
p. add ( Bytes. toBytes( columnFamily ) , 
Bytes. toBytes( emailColumn) , Bytes. toBytes( " xqflying 163. com" ) ) ; 





// 创建 xuqiang 记录 

Put p2 = new Put( Bytes. toBytes( " xuqiang" ) ) ; 
// 设置 列 族 、 列 名 与 列 值 

p2. add( Bytes. toBytes( columnFamily ) , 





| 


Bytes. toBytes( nameColumn) , Bytes. toBytes( "Xu Qiang" ) ) ; 
p2. add( Bytes. toBytes ( columnFamily ) , 
Bytes. toBytes( emailColumn) , Bytes. toBytes( " xqflying@ 163. com" ) ) ; 
// 插入 数据 
table. put( p) ; 
table. put( p2) ; 


// 获取 一 个 记录 
Get g = new Cet(Bytes. toBytes( " skater" ) ) ; 
Result r — table. get(g) ; 


String valueStr = getValue(r, columnFamily, nameColumn) ; 
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System. out. println( " 获取 的 值 : " + valueStr) ; 





// 获取 所 有 记录 

Scan s = new Scan( ) ; 

ResultScanner scanner = table. getScanner( s) ; 
try | 


for ( Result rr : scanner) | 


System. out. println( " Row name = " + Bytes. toString( rr. getRow( ) ) ) ; 


System. out. println( " " + nameColumn. + 


M" M" 


= " + getValue( rr, columnFamily, nameColumn) ) ; 


System. out. println( " " + emailColumn + 


M" " 


= " + getValue( rr, columnFamily, emailColumn) ) ; 








| 
} finally | 


scanner. close( ) ; 


| 


private static String getValue( Result r, String columnFamily, String column) | 
byte[ ] value = r. getValue( Bytes. toBytes( columnFamily ) , 
Bytes. toBytes( column) ) ; 
String valueStr = Bytes. toString( value) ; 


return valueStr; 

















详细 代码 请 读者 参考 sample3 V HBaseSample。 程 序 运行 结果 如 下 : 


JH 


获取 的 值 : skater Qiang 
Row name = skater 
Name = skater Qiang 
Email = xqflying@ 163. com 
Row name = xuqiang 
Name - Xu Qiang 
Email = xqflying(? 163. com 


基于 HBase 同样 可 以 编写 MapReduce 应 用 程序 ， 这 些 将 在 第 6 章 中 介绍 


3.4 小 结 





本 章 ， 我 们 着 重 学 习 了 并 行 计算 软件 Hadoop, Symphony DE 以 及 分 布 式 数据 库 HBase。 
这 些 分 布 式 计算 软件 对 于 提高 应 用 程序 的 执行 效率 有 很 大 帮助 。 在 后 面 的 章节 中 ， 我 们 还 将 
学 习 如 何 使 用 这 些 并 行 计算 软件 解决 现实 中 遇 到 的 问题 。 
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第 4 章 公共 云 计算 介绍 


通过 第 2 章 和 第 3 章 学 习 我 们 可 以 充分 利用 企业 内 部 的 计算 资源 ， 搭 建 属于 企业 自己 的 
云 计算 系统 ， 这 样 的 系统 称 为 私有 云 计 算 系 统 。 私 有 云 计算 系统 一 般 只 针对 企业 内 部 提供 服 
务 ， 而 很 多 企业 应 用 往往 需要 通过 因特网 访问 。 因 此 企业 往往 得 托管 可 供 因 特 网 访问 的 服务 
器 ， 租 用 IP 以 及 域名 等 资源 。 有 没有 针对 这 类 企业 的 解决 方案 呢 ? 答案 是 肯定 的 。 

我 们 还 可 以 选择 使 用 公共 云 计 算 环 境 来 部 署 需 要 公共 访问 的 应 用 。 公 共 云 计算 是 相对 于 
私有 云 计算 而 言 的 。 与 私有 云 计 算 不 同 ， 公 共 云 计算 面向 所 有 使 用 因特网 的 用 户 ， 并 且 在 它 
之 上 运行 的 应 用 也 可 以 通过 因特网 访问 。 

Google, Amazon, Microsoft 等 著名 软件 厂商 分 别 开 发 出 了 各 自 的 公共 云 计 算 平 台 。 究 竟 
公共 云 计 算 平 台 是 如 何 产生 的 ， 为 什么 这 么 多 的 厂商 致力 于 开发 公共 云 计算 平台 ， 我 们 应 该 
如 何 使 用 它 呢 ? 让 我 们 从 它 的 前 身 IDC 说 起 。 


|^. 1 因特网 数据 中 心 IDC 


因特网 数据 中 心 (IDC, Internet Data Center) 起 源 于 因特网 内 容 提供 商 (ICP, Internet 
Content Provider) 对 网 络 高 速 互联 的 需求 。 最 初 ， 在 美国 网 络 运 营 商 为 了 维护 自身 利益 ,将 
网 络 互联 带宽 设 得 较 低 ， 内 容 提 供 商 不 得 不 在 每 个 服务 商 处 都 放 一 台 服 务 器 以 提高 用 户 访问 
服务 的 速度 。 每 一 个 网 络 运营 商都 要 租用 服务 器 ， 同 时 管理 这 些 服务 需 需 要 耗费 大 量 的 财力 
和 人 力 ， 对 于 规模 较 小 的 内 容 提 供 商 来 说 ， 如 何 能 提高 服务 质量 ， 又 不 增加 过 多 成 本 就 成 了 
一 个 问题 。 这 时 IDC 应 运 而 生 ， 它 们 可 以 保证 内 容 提 供 商 所 托管 的 服务 器 从 各 个 网 络 访问 
而 不 产生 速度 瓶颈 ， 同 时 还 不 会 增加 过 多 的 成 本 。 


4.1.1 IDC 所 提供 的 服务 


传统 IDC 提供 的 业务 主要 针对 计算 资源 ， 包 括 主机 托管 〈 机 位 、 机 架 、VIP 机 房 出 
租 ) 、 资 源 出 租 〈 如 虚拟 主机 业务 、 数 据 存储 服务 ) 、 系 统 维护 ( 系统 配置 、 数 据 备 份 、 故 
障 排除 服务 ) 、 管 理 服务 (如 带宽 管理 、 流 量 分 析 、 负 和 载 均衡 、 入 侵 检 测 、 系 统 漏洞 诊断 )， 
以 及 其 他 支撑 和 运行 服务 等 。 

随 着 云 计 算 技术 的 发 展 ， 越 来 越 多 的 IDC 不 但 提供 基础 的 计算 资源 租赁 服务 ， 而 且 还 
将 较为 通用 的 软件 与 计算 资源 整合 在 一 起 ， 提 供 一 体 化 的 解决 方案 。 


4.1.2 使 用 IDC 提供 的 主机 服务 


选择 IDC 所 提供 的 服务 要 与 所 部 署 的 应 用 相 结 合 ， 根 据 应 用 的 实际 需要 进行 选择 。 对 
于 普通 用 户 来 说 ， 最 有 可 能 使 用 IDC 服务 的 情况 是 部 署 信息 展示 类 网 站 。 我 们 将 以 部 署 Java 
宠物 商店 为 例 进行 介绍 。 


















































































































































云 计 算 : 应 用 开发 实践 


1. IDC 主机 服务 选择 

以 国内 IDC 提供 商 为 例 ， 一般 提 供 如 下 的 主机 服务 业务 。 

(1) 虚拟 主机 

这 是 一 种 多 人 共享 同一 台 主 机 的 方式 ，IDC 会 为 用 户 提供 文件 上 传 服务 、 数 据 库 ， 以 及 
网 络 服务 器 等 服务 。 从 用 户 角度 ， 用 户 仍然 感觉 自己 在 使 用 一 台 主 机 ， 而 感觉 不 到 其 他 用 户 
的 存在 。 同 时 ， 这 也 是 最 经 济 的 主机 服务 。 

从 IDC 服务 提供 者 的 角度 来 说 ， 这 种 方式 可 以 极 大 提高 主机 利用 率 ， 使 投资 效益 最 
大 化 。 

但 这 种 服务 一 般 会 对 资源 的 使 用 进行 限制 ， 比 如 带宽 、 主 机 CPU 使 用 率 等 。 它 比较 适 
合 访 问 量 不 多 的 小 型 网 站 部 署 。 

(2) VPS 主机 

Virtual Private Server 事实 上 就 是 第 2 章 中 介绍 过 的 虚拟 主机 。IDC 使 用 虚拟 化 技术 在 服 
务 需 上 启动 多 个 虚拟 机 以 提高 主机 利用 率 。 

由 于 使 用 虚拟 化 技术 ， 用 户 可 以 指定 自己 所 需要 的 操作 系统 ， 并 有 权 对 VPS 操作 系统 
进行 直接 操作 。 这 种 方式 给 了 用 户 更 大 的 自由 度 。 对 于 使 用 虚拟 主机 服务 却 又 不 能 完全 满足 
应 用 要 求 的 用 户 ， 可 以 选择 VPS 主机 。 

(3) 主机 租用 

针对 需要 计算 资源 比较 多 ， 而 且 用 户 访问 量 比 较 大 的 应 用 (比如 门户 网 站 )， 用 户 会 选 
择 租用 整 台 主机 的 方式 。 如 果 仍 然 不 能 满足 需要 ， 可 以 自己 购买 主机 ， 交 由 IDC 托管 。 

对 于 Java 宠物 商店 应 用 来 说 ， 我 们 的 主要 目的 是 测试 ， 只 要 能 支持 Java Web 应 用 的 虚 
拟 主 机 就 可 以 满足 要 求 。 

很 多 IDC 服务 提供 商都 有 免费 试用 的 功能 。 用 搜索 引擎 搜索 “jsp 主机 试用 ”， 可 以 迅 
速 找到 很 多 JSP 虚拟 主机 提供 商 。 

笔者 使 用 JSP 中 文 网 提供 的 虚拟 主机 试用 服务 作 介绍 ， 大 部 分 的 虚拟 主机 管理 工作 流程 
都 是 类 似 的 ， 只 是 界面 上 有 少许 差异 。 

2. 配置 环境 

登录 www. jspen. net， 注 册 一 个 新 用 户 ， 并 使 用 新 用 户 登 录 。 单 击 “ 创 建 一 个 新 的 虚拟 
主机 ”按钮 ， 如 图 4-1 所 示 。 









































创建 一 个 JSp 虚 拟 主机 站 点 





RES 南方 电信 服务 器 ~ 选择 最 合适 您 的 服务 器 客户 位 置 :陕西 省 | 电信 

DKA jdkl.6.0 10 ~ 比 您 开发 环境 高 ,至 少 相等 的 ]JDK 版 本 
TOMCATWEEN toncat6.0.18 ~ 请 选择 一 个 最 接近 您 的 TOMCAT 

车 品类 型 经济 型 JSP 虚 拟 主机 ( 半 550. 0/ 年 ) ~ 若是 PHP 的 空间 ,那么 TOMCAT,]DK 的 选择 将 无 效 

ER 号 | skaterqiang 请 尽量 短 , 以 字母 开头 , 且 仅 为 字母 与 数字 





返回 列 寻 














图 4-1 创建 一 个 JSP 虚拟 主机 站 点 
在 该 页 面 中 用 户 可 以 选择 JDK 版 本 ，Tomcat 版 本 以 及 设置 FTP 账号 ,但 该 页 面 暂 时 没 
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有 配置 数据 库 的 地 方 。 由 于 Java 宠物 商店 默认 使 用 HSQLDB， 该 数据 库 可 以 使 用 服务 器 文件 
系统 存储 数据 ， 所 以 没有 额外 数据 库 支 持 并 不 影响 我 们 的 试用 。 单 击 “添加 站 点 ”按钮 ， 
可 以 看 到 “我 的 虚拟 主机 列表 ”页 面 ， 如 图 4-2 所 示 。 


我 的 虚拟 主机 列表 


ZURBUSPSMKEHL | skaterqiangjip5jspcn.net | fb&aDsemiurg, | "PIPER 201TTSPUH | 是 | 试用 | zx am m 






































图 4-2 “我 的 虚拟 主机 列表 ”页 面 


单 击 “查看 ”按钮 将 显示 详细 的 主机 管理 页 面 。 现 在 我 们 可 以 将 Java 宠物 商店 部 署 到 
虚拟 主机 服务 器 上 。 

3. 部 署 应 用 

通过 单 击 “查看 ”按钮 ， 可 以 看 到 测试 域名 以 及 FTP 服务 器 用 户 名 和 密码 ， 如 图 4-3 
所 示 。 

















基本 信息 
a ses 修改 
经 济 型 ]SP 庶 拟 主 机 数据 刷新 








/vl/skaterqiang 

试用 

500M ”已 使 用 2% 
2011 年 05 月 07 日 13:33:16 
2011 年 05 月 14 日 13:33:16 
















































































































域名 管理 
skaterqiang.ip5.jspcn.net 
219.136.252.35 
域名 添加 涉及 到 备案 ,暂停 该 功能 , 若 备案 域名 需 添 加 联系 | 添加 域名 
管理 员 
站 点 容器 
ESSERE jaki 6.0_10 修改 
.0. 修改 
还 原配 置 
关闭 | | KILL 
FTP 
DOSE 219.136.252.35 TREN 
/v1/skatergiang 
21 
[EME skaterqano 











EE L6 usen 修改 密码 
图 4-3 ”虚拟 主机 配置 及 查看 页 面 


可 以 使 用 他 地 址 219. 136. 252.35, V FTP 用 户 名 和 密码 登录 ， 并 将 mybatis - jpetstore 
-6.0.0. war 上 传 到 FTP 站 点 的 /webapps 目录 中 ， 如 图 4-4 所 示 。 
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在 虚拟 主机 配置 及 查看 页 面 单 击 “站 点 容 需 ”一 “启动 ” 。 现 在 ， 可 以 通过 Internet 地 
HE http: //skaterqiang. ip5. jspcn. net/mybatis — jpetstore - 6. 0. 0 访问 Java 宠物 商店 了 。 





远程 站 点 : | /webapps 
2 lib 
2. logs 





2. temp 
webapps 
由 ROOT 





文件 名 à 文件 大 小 ”文件 类 型 最 近 修改 权限 所 有 者 /组 


ROOT 文件 夫 2011/5/7 131. drwx------ 1227 502 
图 | mybatis-jpetstore-6.0.0.war 6,010,794 WAR 文件 2011/5/7 131. -rw------- 1227 502 





4-4 上 传 Java 宠物 商店 
4.1.3 IDC 虚拟 主机 业务 实现 分 析 


通过 前 面 的 实践 ， 我 们 利用 IDC 提供 的 服务 ,将 Java 宠物 商店 部 署 到 了 因特网 上 。 下 
面 我 们 尝试 自己 搭建 虚拟 主机 服务 。 为 方便 实践 我 们 使 用 Windows 7 Internet 信息 服务 (也 
叫 IIS 服务 ) 搭建 虚拟 主机 服务 器 ，Windows LIS 服务 器 也 是 IDC 提供 商 经 常 使 用 的 虚拟 主 
机 服务 提供 工具 。 

1. 打开 IIS 服务 

单 击 “ 控 制 面板 ”一 “程序 ”一 “打开 或 关闭 Windows WAE”, WF% “Internet 信息 服 
务 ”， 并 选择 需要 的 功能 ， 如 图 4-5 所 示 。 


ISI Windows 功能 : re pa 














打开 或 关闭 Windows 功能 e 


若 要 打开 一 种 功能 ， 请 选择 其 复 选 框 。 若 要 关闭 一 种 功能 ， 请 清除 其 复 选 
框 。 填 充 的 框 表 示 仅 打 开 该 功能 的 一 部 分 。 





加 | Indexing Service ^| 
V| |; Internet Explorer 9 

V] |. Internet Information Services 可 承载 的 Web 核心 
Internet 信息 服务 

日 vij FTP 服务 器 

[v] J; FTP 服务 

v FTP 扩展 性 

Web 管理 工具 










































万 维 网 服务 

Microsoft ,NET Framework 3.5.1 

Microsoft Message Queue (MSMQ) 服务 器 

NFS 服务 

RAS 连接 管理 器 管理 工具 包 (CMAK) -| 





E &E m 






































WR] 











4-5 配置 Internet 信息 服务 





2.， 新 建 一 个 网 站 
单 击 开 始 菜单 ， 右 击 “ 计 算 机 ”一 “管理 ” (或 通过 其 他 方式 ) ， 打 开 Us 服务 管理 工 
具 ， 如 图 4-6 所 示 。 
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图 4-6 JIS 服务 管理 工具 























在 弹出 的 “添加 网 站 ”对 话 框 中 ， 可 以 设置 网 站 名 称 、 物 理 路 径 、 访 问 协议 类 型 等 参 


数 ， 如 图 4-7 所 示 。 


添加 网 站 





网 站 名 称 (S): 


virtualHost 


virtualHost 
内 容 目录 

物理 路 径 (P): 

D:\ISwebapp\virtualHost 

传递 身份 验证 





xum. | [ao 





SE 
ŽE): IP 地 址 (D): 
serem 
主机 名 (H): 


localhost 


[v] 立即 启动 网 站 (M) 





图 4-7 “添加 网 站 ” xiii 


创建 好 网 站 后 ， 可 以 在 网 站 上 单 击 鼠标 右键 ， 
用 户 可 以 通过 FTP 部 署 应 用 ， 如 图 4-8 所 示 。 
3. IIS 编程 接口 


示例 : www.contoso.com 或 marketing.contoso.com 











Hil 








选择 “添加 FTP 发布” 菜单 项 ， 从 而 使 


Windows Management Instrumentation (WMI) 是 一 种 允许 程序 员 以 编码 方式 管理 和 配置 


Windows 操作 系统 和 Windows 应 用 程序 的 技术 。 从 HS 6.0 开始 ，HS 中 包括 了 WMI 
开 了 可 用 于 查询 和 配置 IIS 配置 数据 库 的 编程 接口 。 


其 公 


LE 





作为 开发 人 员 可 以 使 用 WMI 编程 接口 提供 与 IDC 厂商 类 似 的 管理 界面 ， 方 便 用 户 使 用 。 


4. 与 Tomcat 容器 集成 





通过 前 面 的 步骤 ,用户 已 经 可 以 使 用 IIS 发布 简单 的 页 面 应 用 程序 来 展示 静态 信息 。 如 
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4.3 SKATERHOME-PC (s| | 篇 
E 应 用 程序 池 
4 国 网 站 ii 


€ vi 
n 








T 

Sg... 

O^ ” 沃 加 应 用 程序 ..…. 

x] 添加 虚拟 目录 .… 
管理 网 站 

Ka 刷新 (R 

X ms 

添加 FIP 发 布 .。 | 
重 命名 

tS PRIAMA 





图 4-8 添加 FTP 发 布 


果 想 发 布 Java 应 用 程序 ， 只 需 将 HS 服务 器 与 Tomcat 容 带 集成 。 这 就 要 用 到 第 3 章 中 介绍 的 
负载 均衡 工具 。 它 可 以 方便 地 将 TS 服务 器 接收 到 的 请 求 转发 给 Tomcat 容器 ， 除 了 支持 A- 
pache Http 服务 器 之 外 ， 它 也 支持 IIS 服务 器 。 本 节 只 对 IDC 虚拟 主机 业务 技术 进行 分 析 ， 
详细 配置 请 读者 自行 完成 。 


4.1.4 传统 IDC 所 面临 的 机 遇 与 挑战 


不 久 前 ， 独 立 市 场 和 技术 调研 公司 弗 雷 斯 特 (Forrester Research, http ;// blogs. forrester. com) 
提供 了 一 份 分 析 报 告 (http://www. forrester. com/rb/Research/sizing. cloud/q/id/58161/1/2 ) 
指出 ， 预 计 到 2020 年 ， 全 球 云 计 算 市 场 的 价值 将 从 2010 的 约 400 亿美 元 提升 到 2410 亿美 
元 。 而 IDC 提供 商事 实 上 一 直 以 来 就 在 提供 云 计 算 laas 层面 的 服务 。 随 着 应 用 对 计算 要 求 
的 提高 ，IDC 的 市 场 前 景 十 分 广阔 。 

通过 前 面 的 讲述 ， 我 们 也 可 以 看 出 传统 的 IDC 提供 商 运 用 现 有 技术 在 为 用 户 节省 成 本 
的 同时 ， 也 很 好 地 提高 了 主机 利用 率 ， 创 造 了 良好 的 效益 。 

但 是 我 们 也 看 到 大 部 分 的 传统 IDC 提供 商 提供 的 服务 类 似 ， 产 品 同 质 化 ， 同 行 之 间 产 
品 本 号 区 别 不 大 ， 行 业内 部 缺乏 创新 。 

而 恰恰 在 这 个 时 候 ， 像 Google, Amazone, Microsoft, INSE, A MERKE IDC 市 
场 的 公司 在 近 几 年 却 开始 研发 新 产品 并 进军 IDC 领域 。 可 见 ，IDC 市 场 的 争夺 愈演愈烈 。 


E: 2 Google App Engine 


Google App Engine 是 针对 网 络 应 用 程序 推出 的 云 计算 平台 。 用 户 可 以 使 用 相应 的 应 用 程 
序 开发 接口 ， 利 用 Google 的 基础 架构 运行 应 用 程序 。 目 前 Google App Engine 支持 Java 和 Py- 
thon 语言 。 本 书简 称 Google App Engine 为 GAE, 

GAE 具有 如 下 特性 : 

e 动态 网 络 服务 ， 提 供 对 常用 网 络 技术 的 完全 文 持 。 
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e 提供 持久 存储 空间 ， 文 持 查 询 、 分 类 和 事务 。 

e 自动 扩展 和 负载 平衡 。 

e 可 使 用 Google 账户 对 用 户 进行 身份 验证 。 

e 文 持 自 定义 计划 任务 。 

针对 网 络 程序 存在 的 安全 问题 ，GAE 将 应 用 程序 放置 在 沙 盒 中 (Sand Box) 运行 ,该 

安全 环境 仅 提 供 对 基础 操作 系统 的 有 限 访问 权限 。 

安全 沙 盒 环 境 的 限制 示例 包括 以 下 内 容 。 

e 应 用 程序 只 能 通过 网 址 抓 取 服务 和 电子 邮件 服务 的 方式 访问 互联 网 中 的 其 他 计算 机 。 
其 他 计算 机 只 能 通过 HTTP (或 HTTPS) 请 求 来 连接 至 该 应 用 程序 。 

e 应 用 程序 无 法 直接 向 文件 系统 执行 写 入 操作 ， 而 只 能 读 取 通过 应 用 程序 代码 上 传 的 文 
件 。 如 果 要 保存 数据 ， 必 须 使 用 GAE 数据 存储 区 、memcache 或 其 他 存储 服务 。 

e 应 用 程序 代码 仅 在 响应 网 络 请 求 或 计划 任务 时 运行 ， 且 任何 情况 下 必须 在 30s 内 返回 
响应 数据 。 请 求 处 理 程序 不 能 在 响应 发 送 后 生成 子 进 程 或 执行 代码 。 












































4.2.1 注册 Google App Engine 账户 


在 开始 使 用 GAE 之 前 ， 首 先 需 要 注册 GAE 账户 〈 如 果 读 者 仅 在 本 地 执行 用 GAE SDK 
创建 的 应 用 ， 则 不 需要 注册 账户 ,可 跳 过 本 节 )。 

首先 ， 使 用 Google 账户 登录 https: //appengine. google. com/, ， 页 面 会 提示 用 户 是 否 创建 
一 个 新 应 用 ， 并 要 求 输入 手机 号 码 ， 发 送 手 机 短信 验证 信息 ， 如 图 4-9 所 示 。 


Verify Your Account by SMS 
To create applications with Google App Engine, you need a verification code. Select the country and carrier for your mobile phone and enter your mobile phone number. The 


verification code will be sent to it via SMS. Note you will only need to verify your account once. 


Country and Carrier 
Other (Not Listed) | » | 
our country and carrier are not on the list, select Other (Not Listed). What carriers are supporte: 








t 
Mobile Number: 

+8613. 

Include your country code and full phone number. eg. +1 650 555 1212 


Send 





图 4-9 发 送 手机 验证 信息 注册 GAE 账户 
GAE 提供 一 部 分 免费 计算 资源 使 用 配额 ,在 免费 配额 之 外 ， 超 额 部 分 按 实际 使 用 收费 。 
默认 情况 下 ，GAE 不 开启 收费 功能 ， 这 样 当 本 月 的 配额 用 光 后 ， 应 用 将 暂时 不 可 用 。 这 种 
收费 方式 对 于 用 户 来 说 节省 了 应 用 运行 的 成 本 。 














4.2.2 安装 Google App Engine SDK 


GAE 支持 Eclipse， 用 户 可 以 在 选择 安装 Eclipse 的 同时 ， 安 装 集成 开发 环境 插件 及 GAE 
SDK (GAE 同时 支持 直接 下 载 SDK， 为 方便 起 见 ， 本 书 选择 安装 Eclipse 插件 ) 。 

GAE 目前 只 支持 Eclipse 3. 与 Eclipse 3.4 ， 本 书 采 用 Eclipse 3. 4 安装 该 插件 ， 依 次 单 
击 Help 一 Software Updates 一 Available Software — Add site , 输入 插件 下 载 地 址 http: // 
dl. google. com/eclipse/plugin/3.4， 单 击 Install 按钮 即 可 开始 安装 ， 如 图 4-10 所 示 。 
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© Software Updates and Add-ons B x 
Installed Software| Available Software 
type filter text x 
|| Name Version Install... 
| E 领 Ganymede Update Site 
| [v] | http://dl.google.com/eclipse/plugin/3.4 
V] 000 Plugin Properties 
V| Gp Google Plugin for Eclipse 3.4 2.2.1./201103311229 re e> 
[V] 00 SDKs 
[v] & Google App Engine Java SDK 1.4.3 1.4.3..201103311229 Add Site... 
V] 4» Google Web Toolkit SDK 2.2.0 2.2.0./201103311229 ———— 
[V] 000 Uncategorized Manage Sites... 
[v] & GWT Designer Core 2.2.1./34x201103301757 
V) 4» GWT Designer Editor 2.2.1.034x201103301817 
[v] 4» WindowBuilder Core 0.9.0.734x201103301742 Refresh 
[7] £y WindowBuilder CSS Support 0.9.0.734x201103192336 —À m 


令 http://download.eclipse.org/modeling/gmf/updates/releases/ 
令 http://download.eclipse.org/modeling/m2t/updates/ 
令 http://download.eclipse.org/technology/emft/updates/ 


令 http://download.eclipse.org/technology/epp/updates/1.0/ 
令 http;//download.eclipse.org/tools/mylyn/update/e3.4 

令 M2M Update Site 

令 The Eclipse Project Updates 











| 
|[V] Show only the latest versions of available software 


|[Z] Include items that have already been installed 





Open the 'Automatic Updates' preference page to set up an automatic update schedule. 





Operation in progress |. 
4-10 安装 Eclipse 插件 
安装 好 Eclipse 插件 后 ， 用 户 可 以 在 Eclipse 的 工具 栏 上 看 到 Google App Engine 的 网 标 。 


File Edit Navigate Search project Run Window Help 


ri~ He bi el i Tp A 














图 4-11 Google App Engine 图 标 





在 Eclipse 中 安装 好 插件 后 ， 用 户 可 以 立即 运行 Google App Engine 自 带 的 例子 。 它 位 于 
Eclipse 安装 目录 \ plugins V com. google. appengine. eclipse. sdkbundle | Version \ F (其 中 
Version 为 所 安装 的 SDK 版 本 号 ， 笔 者 安装 的 版 本 是 1.4.3)。 

在 命令 行 中 输入 以 下 命令 。 


cd eclipse 安装 目录 \plugins\com. google. appengine. eclipse. sdkbundle_Version\ 
appengine — java — sdk — 1. 4. 3 \ bin Mdev, appserver. cmd appengine — java — sdk — 1. 4. 3 \ demos \ guest- 


book Wwar 


输出 如 代码 清单 4-1 所 示 。 
【代码 清单 4-1]】 


2011 -4 -30 17:12:05 com. google. apphosting. utils. jetty. JettyLogger info 





信息 : Logging to JettyLogger( null) via com. google. apphosting. utils. jetty. JettyLogger 
2011 -4 -30 17:12:05 com. google. apphosting. utils. config. AppEngineWebXmlReader read 
AppEngineWebXml 
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信息 : Successfully processed J; \work tools \eclipse\plugins \com. google. appengine. 

eclipse. sdkbundle, 1. 4. 3. v201103311229 \appengine - java — sdk — 1. 4. 3 \ demos \ guestbook Vw 
ar\ WEB - INF/appengine — web. xml 

2011 -4 -30 17:12:05 com. google. apphosting. utils. config. AbstractConfigXmlReader re 
adConfigXml 

信息 : Successfully processed J; Work tools Veclipse Vplugins Vcom. google. appengine. 

eclipse. sdkbundle, 1. 4. 3. v201103311229 Vappengine - java — sdk — 1. 4. 3 \ demos \ guestbook Vw 
ar\ WEB - INE/web. xml 

2011 -5 -1 1:12:09 com. google. appengine. tools. development. DevAppServerImpl start 








信息 : The server is running at http://localhost :8080/ 








这 个 例子 会 在 本 地 启动 一 个 示例 应 用 ， 用 户 可 以 通过 地 址 http://localhost : 8080/ 
访问 。 
Hello! Sign in to include your name with greetings you post. 
The guestbook has no messages. 
è 


[ PostGreetng | 
[E 4-12 App Engine 示例 程序 
当 用 户 看 到 如 图 4-12 所 示 的 页 面 时 说 明 App Engine SDK 已 经 成 功 安 装 。 
4.2.3 使 用 Eclipse 集成 开发 环境 


GAE 提供 Eclipse 集成 开发 插件 。 使 用 该 插件 用 户 可 以 方便 地 构建 基于 GAE 的 网 络 应 用 
程序 。 在 Eclipse 工具 栏 上 单 击 新 建 “Google App Engine” 按 钮 ， 如 图 4-13 所 示 。 








File Edit Navigate Search Project Run Windo 
ri [5]p 8 $-0-«4 
图 4-13 “新 建 Coogle App Engine” F 


用 户 在 GAE 项 目 创建 向 导 中 ， 输 入 Projet Name. (项 日 名 称 ) 为 HelloAppEngine, Java 
代码 包 名 (Package name) 为 com. cloud. skater。 作 为 入 门 示例 ,我们 不 选择 Google Web 
Toolkit 开发 包 。 单 击 Finish 按钮 即 可 完成 创建 ， 如 图 4-14 所 示 。 

在 新 创建 的 GAE 项 目 中 ， 用 户 可 以 看 到 该 项 目 使 用 了 Java EE 项 目 所 采用 的 文件 结构 。 
其 中 包含 一 个 Java Servlet 文件 HelloAppEngineServlet java, Web 应 用 首页 面 index. html, LÀ 
及 配置 文件 Web. xml， 如 图 4-15 所 示 。 

详细 代码 请 参考 sample4\ HelloAppFngine。 

可 以 通过 右 击 “HelloAppEngine 项 日 ”一 Run As 一 Web Application 来 运行 应 用 程序 ， 如 
图 4-16 所 示 。 
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3$ New Web Application Project o āe 
Create a Web Application Project 


Create a Web Application project in the workspace or in an external 
location 





Project name: 





HelloAppEngine 
Package: (e.g. com.example.myproject) 
com.cloud.skater 

Location 

(9) Create new project in workspace 


© Create new project in: 





Directory: | CAUsersyskaterhomeWorkspaceMelloAppEngine | | Browse... | 





Google SDKs 
T] Use Google Web Toolkit 
(8) Use default SDK (GWT - 2.2.0) 














Configure SDKs... 





Use specific SDK: | GWT - 2.2.0 














Use Google App Engine 
© Use default SDK (App Engine - 1.4.3) 





Configure SDKs... 





© Use specific SDK: | App Engine - 1.4.3 





Sample Code 
[7] Generate GWT project sample code 








图 4-14 使 用 Google App Engine 向 导 创 建 网 络 应 用 


4 © HelloAppEngine 
4 (8 src 
4 iH com.cloud.skater 
b [J] HelleAppEngineServletjava 
b (£g META-INF 
log4j.properties 
D mì App Engine SDK [App Engine - 1.4.3] 
b Œ JRE System Library [jre6] 
4 [— war 
4 区 WEB-INF 
P lib 
四 appengine-web.xml 
E] logging.properties 
四 web.xml 


到 index.html 





图 4-15 Google App Engine Eclipse 工程 
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4 |? HelloAppEr ^ 
4 (8 src 
4 出 com 


D H 


New 


Show In 


3j Copy 


© MET| 
B log4 宇 
mà App End E 
mà JRE Sys| XX 
4 EE war 
4 C» WEB 
e li 
Xa. 
B Ic e 
Xj wt 


B inde & 


运行 应 用 程序 后 ， 
【代码 清单 4-2 】 


Copy Qualified Name 
Paste 
Delete 
Remove fr 
Build Path 
Refactor 


Import... 
Export... 


Refresh 


Close Project 


Close Unrelated Projects 


Run As 

Debug As 
Profile As 
Team 
Famnara WIth 





om Context 


图 4-16 


» 
At+Shift+W » 


Ctrl+C 


Ctrl+V 


Delete 


Alt+Shift+T » 


rv vv vv 
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Alt+Shift+X, A 
Alt-Shift-X, J 


1 Java Applet 
2 Java Application 


euis 


3 Web Application 


Run Configurations... 





运行 GAE Web Application 


会 在 Eclipse 的 输出 对 话 框 中 显示 出 如 代码 清单 4-2. 所 示 的 信息 。 











2011 -5 -1 6:17:35 com. google. apphosting. utils. jetty. JettyLogger info 





信息 : Logging to JettyLogger( null) via com. google. apphosting. utils. jetty. JettyLogger 


2011 -5 -1 14:17:38 com. google. appengine. tools. development. DevAppServerlmpl start 





信息 : The server is running at http://localhost :8888/ 





以 上 信息 说 明 Google App Engine 使 用 Jetty 作为 Web 服务 器 (这 是 一 种 与 Tomcat 类 似 的 


Java Web 服务 器 ， 它 们 都 遵 





运行 ， 详 细 信 息 请 参考 http: //jetty. codehaus. org/jetty ) 。 
打开 http: //localhost; 8888/， 可 以 看 到 如 图 4-17 所 示 的 运行 页 面 。 


Hello App Engine! 


Available Servlets: 


HelloAppEneine 





图 4-17 Hello App Engine 应 

















运行 页 面 





单 击 HelloAppEngine 链接 ， 将 看 到 经 典 的 Hello World 信息 。 


4.2.4 基于 Google App Engine SDK 开发 应 用 


循 Java EE 规范 ， 能 在 Jetty 上 运行 的 程序 同样 可 以 在 Tomcat 中 


通过 Eclipse 向 导 我 们 成 功 地 使 用 Java EE 技术 在 CAE 中 创建 了 一 个 简单 的 网 络 应 用 。 





编程 接口 调用 这 些 服务 ， 比 如 Google 用 户 服 务 、 数 据 库 服务 、 网 页 抓 取 服务 等 。 





同时 ，GAE 还 基于 Google 的 基础 架构 提供 了 很 多 有 用 服务 ， 我 们 可 以 使 用 SDK 附带 的 


下 面 使 用 App Engine SDK 提供 的 部 分 服务 来 开发 一 个 简单 的 留言 本 应 用 程序 (这 也 是 
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App Engine 官方 提供 的 示例 程序 ， 笔 者 稍 加 修改 ) 。 

1. 功能 设计 

(1) 需要 提供 用 户 登 录 界 面 

(2) 用 户 登 录 后 可 留言 

(3) 在 留言 本 上 展示 最 近 的 10 条 留言 记录 

2. 使 用 用 户 服务 提供 用 户 登 录 界 面 

Google 用 户 服务 提供 编程 接口 供 开 发 人 员 使 用 ， 我 们 可 以 使 用 用 户 服务 获得 当前 登录 的 
用 户 。 并 使 用 用 户 服务 提供 的 界面 供用 户 登录 ， 用 户 登 录 界 面 的 代码 如 代码 清单 4-3 所 示 。 

【代码 清单 4-3】 





























<html > 
<head > 
< meta http — equiv = " Content — Type" content = " text/html ; charset = gb2312" > 
«title > 留言 本 «title > 
« / head » 
« body > 
<% 
UserService userService = UserServiceFactory. getUserService( ) ; 
User user = userService. getCurrentUser( ) ; 
if (user ! = null) | 
和 > 
<p>, <% = user. getNickname( ) % >! (您 可 以 
«a href=" <% = userService. createLogoutURL( request. getRequestURI( ) ) % >" > 登 出 </a>. ) 
</p> 
« 96 
| else | 
% > 
<p> 您 好 ， 
«a href=" <% = userService. createLoginURL( request. getRequestURI( ) ) 96 >" » X£A </a> 
后 方 可 留言 


« /html > 


3. 使 用 JDO 存储 留言 信息 

对 于 大 型 网 络 应 用 来 说 ,通常 会 将 数据 存储 在 可 扩展 的 数据 服务 右 中 (比如 第 3 章 提 
到 的 分 布 式 数据 库 ) 。 大 型 网 络 应 用 出 于 对 网 络 带 宽 方面 的 考虑 ， 服 务 器 一 般 会 分 布 在 多 个 
机 器 (可 能 位 于 世界 各 地 的 不 同位 置 ) 上 以 提高 用 户 响 应 速度 ， 故 搭建 这 样 的 环境 需要 更 
多 的 资金 投入 以 及 较 强 的 基础 设施 维护 能 力 。 而 GAE 将 其 Bigtable 分 布 式 数据 库 通 过 JDO 
封装 的 方式 为 用 户 提 供 了 较 好 的 数据 存储 服务 。 

这 里 将 使 用 JDO 接口 来 检索 和 发 布 由 用 户 留 下 的 消息 。 

(1) 设置 App Engine JDO 

对 于 使 用 Eclipse 开发 的 用 户 ，Google App Engine 工程 向 导 会 自动 生成 JDO 配置 文件 ， 
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可 以 找到 src V META - INF\ jdoconfig. xml， 如 代码 清单 4-4 所 示 。 
【代码 清单 4-4】 


<? xml version 2"1. 0" encoding="utf-8"? > 
< jdoconfig xmlns = " http :⁄// java. sun. com/xml/ns/;jdo/jdoconfig" 
xmlns :xsi = " http://www. w3. org/2001/XMLSchema - instance" 


xsi ; noNamespaceSchemaLocation = " http ://java. sun. com/xml/ns/jdo/jdoconfig" > 


< persistence — manager — factory name = " transactions — optional" > 
< property name = " javax. jdo. PersistenceManagerFactoryClass" 
value = " org. datanucleus. store. appengine. jdo. DatastoreJDOPersistenceManagerFactory" / > 
< property name = " javax. jdo. option. ConnectionURL" value = " appengine" / > 
< property name = " javax. jdo. option. NontransactionalRead" value =" true" / > 
< property name = " javax. jdo. option. NontransactionalWrite" value = " true" / > 
< property name = " javax. jdo. option. RetainValues" value = " true" / > 
< property name = " datanucleus. appengine. autoCreateDatastoreTxns" value =" true" / > 
< / persistence — manager — factory > 


< /jdoconfig > 


在 上 面 的 配置 文件 中 ， 向 导 生 成 了 一 个 名 为 “transactions - optional” 的 数据 库 持 久 化 工 
厂 (Persistence Manager Factory) 。 用 户 可 以 使 用 该 工厂 创建 持久 化 对 象 。 一 般 而 言 ， 实 例 化 
数据 库 工 厂 ， 需 要 比较 长 的 时 间 ， 而 对 于 留言 本 应 用 程序 只 需 一 个 实例 ， 故 可 将 该 实例 存储 
在 静态 变量 中 ， 创 建 一 个 单独 的 包装 器 类 ， 如 代码 清单 4-5 所 示 。 

【代码 清单 4-5]】 





package com. cloud. skater; 


import javax. jdo. JDOHelper; 


import javax. jdo. PersistenceManagerFactory ; 


public final class PMF | 
private static final PersistenceManagerFactory pmflnstance = JDOHelper. get 


PersistenceManagerFactory ( " transactions — optional" ) ; 


private PMF( ) | 
} 


public static PersistenceManagerFactory get() | 


return pmfInstance; 
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(2) 存储 留言 

与 传统 的 关系 型 数据 库 类 似 ， 在 存储 数据 前 ， 首 先 需 要 创建 数据 存储 表 。JDO 简化 了 此 
过 程 ， 因 此 只 需 创建 相应 的 存储 对 象 ，JD0O 会 帮 用 户 将 数据 对 象 映射 到 数据 库 中 ， 如 代码 清 
单 4-6 所 示 。 

【代码 清单 4-6]】 





package com. cloud. skater; 


import java. util. Date; 

import javax. jdo. annotations. IdGeneratorStrategy ; 
import javax. jdo. annotations. IdentityType ; 
import javax. jdo. annotations. PersistenceCapable; 
import javax. jdo. annotations. Persistent ; 

import javax. jdo. annotations. PrimaryKey ; 


import com. google. appengine. api. users. User; 


@ PersistenceCapable( identityType = IdentityType. APPLICATION) 


publie class Greeting | 

@ PrimaryKey 

@ Persistent( valueStrategy = IdGeneratorStrategy. IDENTITY ) 
private Long id ; 

@ Persistent 

private User author; 

@ Persistent 

private String content; 

@ Persistent 


private Date date; 


public Greeting( User author, String content, Date date) | 
this. author. = author; 
this. content = content; 


this. date — date; 


public Long getld( ) | 


return id; 


public User getAuthor( ) | 


return author; 
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public String getContent( ) | 


return content; 


public Date getDate( ) | 


return date ; 


public void setAuthor( User author) | 


this. author = author; 


public void setContent(String content) | 


this. content — content; 


public void setDate( Date date) | 


this. date = date; 


| 





在 Greeting 类 中 定义 了 这 个 类 的 3 个 属性 : author, content 和 date。 用 @ Persistent 对 这 
三 个 私有 字段 进行 批注 ， 指 示 DataNucleus 将 这 些 字段 作为 对 象 属性 存储 在 App Engine 数据 
存储 区 中 。 

id 字段 为 主 码 ， 它 是 以 @ Persistent 和 @ PrimaryKey 进行 批注 的 长 整 型 字段 。App En- 
gine 会 为 用 户 自动 生成 唯一 的 主 码 。 

使 用 PersistenceManager 可 以 将 数据 存储 到 App Engine 数据 存储 区 中 ， 如 代码 清单 4-7 
所 示 。 

【代码 清单 4-7】 











Date date = new Date( ) ; 
Greeting greeting = new Greeting( user, content, date); 
PersistenceManager pm = PMF. get( ). getPersistenceManager( ) ; 
try | 
pm. makePersistent( greeting) ; 
} finally | 
pm. close( ) ; 


| 


(3) 展示 最 新 的 10 条 留言 
App Engine 支持 类 似 SQL 的 查询 语言 CQL。 可 使 用 order by 语句 按时 间 进 行 排序 ， 同 时 
可 设置 返回 记录 的 数量 ， 如 代码 清单 4-8 所 示 。 
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【代码 清单 4-8】 
String query = "select from " + Greeting. class. getName( ) +" order by date DESC LIMIT 2" ; 
Query queryObj = pm. newQuery( query) ; 
queryObj. setRange(0,9) ; 
List < Greeting > greetings = (List < Greeting > ) queryObj. execute( ) ; 

(4) 本 地 运行 

运行 光盘 中 sample4\ GuestBook 工程 。 将 看 到 如 图 4-18 所 示 的 留言 本 首页 面 。 


@ EE - Mozilla Firefox 








-一 z G 4 |] http;//localhost:8888/ 
品 | 访问 最 多 | 新 手 上 路 SS 最 新 头条 


BELLI 
1H, EA 后 方 可 留言 
暂时 没有 留言 








图 4-18 留言 本 首页 耳 


单 击 “输入 ”按钮 ,输入 用 户 名 (本 地 运行 不 需要 密码 )。 用 户 就 可 以 留言 了 ， 如 图 4-19 
所 示 。 


























(18985 
Tif, skater! (您 可 以 登 出 .) 
留言 人 留言 日 其 














skater | 你 好 App Engine Mon May 02 15:33:50 UTC 2011 





B2 
Ti 


图 4-19 留言 
至 此 ， 我 们 已 经 利用 GAE SDK 在 本 地 计算 机 上 成 功 地 开发 了 一 个 留言 本 应 用 程序 。 
4.2.5 将 应 用 部 署 到 Google App Engine 中 


在 Eclipse 开发 环境 中 ， 用 户 可 以 将 本 地 开发 的 App Engine 应 用 程序 部 署 到 GAE 环境 
中 ， 如 图 4-20 所 示 ， 在 界面 中 输入 注册 的 电子 邮箱 地 址 和 密码 ， 即 可 上 传 应 用 。 

如 果 是 第 一 次 部 署 ， 系 统 会 提示 用 户 输入 应 用 标识 符 ( Application ID ) ， 该 标识 符 需 要 
登录 到 GAE 管理 界面 上 创建 (可 以 单 击 界面 中 “My applications…” 按 钮 )， 如 图 4-21 
所 示 。 

部 署 成 功 后 ， 就 可 以 通过 地 址 http: //skaterguestbook. appspot. com/ 直接 访问 刚才 部 署 
的 应 用 ， 如 图 4-22 所 示 。 
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$ Deploy Project to Google App Engine 


Deploy 


(3 GuestBook does not have an application ID. 
Click the project settings link below to set it. 











Project GuestBook 


Email: | 





Password: 


App Engine project settings... 


图 4-20 部 署 应 用 程序 

















$ Properties for GuestBook (Filtered) s | 回 | 3 
type filter text F& | App Engine - "Y 
Google 








|V] Use Google App Engine 





App Engine 
im App Engine SDK 


(€) Use default SDK (App Engine - 1.4.3) 


Configure SDKs... 





© Use specific SDK: |App Engine - 1.4.3 





Deployment 





Application ID: skaterguestbook 


Version: 1 





My applications... 
Existing versions... ' 








4-21 设置 应 用 标识 符 


ae 














Address E http://skaterguestbook. appspot.com/guestbook. jsp 


您 好 ，xxqonline! (您 可 以 登 tH.) 





nil 


留言 人 B 


日 期 














xxqonline Hope I am not the only one use this app Mon May 02 15:57:27 UTC 2011 





^ 


回 








DS 











4-22 部署 到 Google App Engine 中 的 留言 本 应 用 程序 
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通过 使 用 Google App Engine 可 以 看 出 ，Google App Engine 不 单单 提供 虚拟 主机 服务 ， 在 
这 之 上 还 提供 了 数据 存储 、 用 户 认 证 、 网 页 抓 取 等 额外 服务 ， 并 且 其 服务 在 应 用 程序 被 最 初 
部 署 时 一 般 不 收费 ， 随 着 应 用 程序 需要 使 用 更 多 计算 资源 ， 才 慢 慢 收费 。 这 种 服务 模式 与 传 
统 的 IDC 服务 相 比 ， 在 节省 运营 资金 同时 ， 集 成 化 的 开发 运行 环境 还 有 助 于 简化 应 用 程序 
开发 的 环节 。 另 一 方面 ， 需 要 注意 到 ， 用 户 需要 使 用 Google 提供 的 编程 接口 才能 在 App En- 
gine 上 和 运行， 这 对 于 开发 新 应 用 程序 有 一 定 优势 ， 但 不 适合 老 应 用 程序 的 部 署 。 


|^- 3 Amazon AWS 


Amazon (亚马逊 ) 最 初 是 一 家 通过 互联 网 销售 图 书 的 网 上 书店 ， 就 在 人 们 都 还 没有 搞 
清 它 的 店面 在 哪里 的 时 候 ， 它 在 短 短 的 两 年 间 一 举 超过 无 数 成 名 已 久 的 百年 老 店 而 成 为 世界 
上 最 大 的 书店 ， 其 市 值 更 是 远 远 超过 了 售 书 业务 的 本 身 。 而 在 2006 年 ， 这 个 以 卖 书 为 主 业 
的 公司 推出 了 貌似 与 它 自 身 业 务 毫 不 相干 的 AWS 业务 ， 向 云 计算 领域 进军 。 

Amazon Web Services ( AWS) 提供 一 组 相关 的 云 计 算 服 务 ， 通 过 使 用 这 些 服务 ， 用 户 可 
以 获得 弹性 、 健 壮 的 公共 云 计算 环境 。 本 书 主要 介绍 以 下 服务 : 

(1) Amazon Elastic Compute Cloud ( Amazon EC2) 

EC2 是 一 个 可 提供 “弹性 ”计算 资源 的 服务 。 设 计 它 的 初衷 就 是 为 了 降低 开发 人 员 开 
发 大 型 网 络 应 用 程序 的 难度 。 

用 户 通过 EC2 所 提供 的 管理 界面 可 以 管理 与 购买 计算 资源 。 而 EC2 所 提供 的 计算 资源 
也 是 经 过 Amazon 自身 测试 的 ， 能 够 支撑 起 世界 最 大 网 络 书店 的 计算 资源 。 在 这 些 计算 资源 
之 上 EC2 还 与 众多 的 第 三 方 软件 提供 商 合作 ， 提 供 一 体 化 的 解决 方案 。 

(2) Amazon Simple Storage Service (Amazon S3 ) 

Amazon S3 提供 文件 存储 服务 ，Amazon 自己 的 网 站 就 建立 在 S3 上 。 该 文件 系统 是 面向 
对 象 的 ， 用 户 可 以 通过 一 个 简单 的 网 络 接口 进行 存储 、 读 取 以 及 删除 大 小 从 1 Byte 到 5 TB 
的 文件 对 象 。 与 EBS 专注 于 为 虚拟 机 提供 存储 服务 不 同 ，Amazon S3 允许 用 户 上 传 自己 的 文 
件 ， 并 使 用 Amazon 管理 界面 或 编程 接口 使 用 这 些 文件 。 

(3) Amazon SimpleDB 

Amazon SimpleDB 是 一 个 与 Bigtable 和 HBase 类 似 的 数据 库 ， 采 用 键 值 存储 。 与 Google 
App Engine 一 样 ，Amazon 也 提供 了 编程 接口 供 开 发 人 员 使 用 。 


4.3.1 注册 AWS 账户 


使 用 AWS 必须 注册 账户 ， 从 前 面 的 介绍 中 可 以 看 出 AWS 上 提供 的 服务 都 运行 在 Ama- 
zon 服务 器 上 ， 而 Amazon 与 Google 不 同 的 是 ， 它 没有 提供 本 地 服务 模拟 程序 ， 故 用 户 使 用 
AWS SDK 开发 的 程序 都 需要 通过 网 络 与 AWS 服务 进行 交互 。 

AWS 的 网 址 是 http: //aws. amazon. com/。 注 册 AWS 账户 需要 提供 信用 卡 账 号 ， 并 且 
Amazon 会 使 用 1 美元 来 验证 所 提供 的 信用 卡 是 否 可 以 支付 ， 但 不 会 真正 扣 款 (笔者 的 信用 
卡 就 曾经 提示 被 扣 1 元 ,但 在 账单 日 并 无 真正 扣 款 )。 此 外 ，Amazon 还 需 通 过 电话 回 叫 以 及 
Email 等 形式 验证 用 户 。 虽 然 Amazon 声称 注册 用 户 后 就 可 以 立刻 使 用 ,但 根据 笔者 的 实际 
经 验 ， 在 开始 的 两 三 天 里 ，Amazon 会 持续 验证 账户 ， 在 用 户 正确 啊 应 之 前 ，Amazon 会 暂时 
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禁止 使 用 账户 (5 GAE 默认 不 打开 收费 选项 不 同 ，AWS 会 在 显要 的 位 置 标 出 可 以 免费 使 用 
的 服务 ， 但 如 果 用 户 选 择 了 收费 服务 ，Amazon 就 会 开始 根据 使 用 服务 的 时 间或 数量 等 来 收 
费 )。 

对 于 新 注册 的 AWS 用 户 ，Amazon 会 为 其 提供 为 期 一 年 的 免费 服务 。 包 括 免费 使 用 一 个 
EC2 Linux 虚拟 机 ，10GB 的 EC2 存储 服务 ，5GB 的 普通 文件 存储 服务 ，1GB 的 非 关 系 型 数 
据 库存 储 空间 。 使 用 这 些 免费 服务 足够 学 习 AWS。 


4.3.2 使 用 Amazon EC2 


与 传统 的 IDC 提供 商 一 样 ，Amazon EC2 也 提供 了 一 个 简单 的 Web 服务 界面 ， 通 过 它 用 
户 可 以 方便 的 获取 和 配置 计算 资源 。 从 用 户 体验 角度 来 说 ，EC2 可 以 快速 配置 并 运行 一 个 新 
的 服务 器 ， 并 且 可 以 根据 用 户 的 需求 随时 扩大 或 缩小 计算 能 力 。 与 GAE 类 似 ，EC2 也 按照 
实际 使 用 的 计算 资源 收费 ， 为 用 户 节 约 计算 成 本 。 

EC2 中 的 关键 词 : 

1) Amazon EBS; EBS (Amazon Elastic Block Store) 为 Amazon EC2 虚拟 机 提供 存储 服 
Fo ERJA EC 虚拟 机 的 生存 周期 无 关 ， 也 就 是 说 当 虚 拟 机 被 清除 的 时 候 ， 虚 拟 机 所 使 
用 的 磁盘 服务 依然 可 以 存在 。 在 使 用 EC2 创建 虚拟 机 时 ， 用 户 几 乎 感觉 不 到 EBS 的 存在 ， 
Amazon 会 在 创建 EC2 虚拟 机 时 ， 为 用 户 自动 申请 EBS 存储 服务 。 

2) Amazon AMI (Amazon Machine Image) : 相当 于 私有 云 计 算 系 统 ISF 中 的 模板 ，Ama- 
zon 不 但 允许 用 户 自己 建立 操作 系统 模板 ， 同 时 与 第 三 方 厂商 合作 ， 建 立 了 很 多 公共 模板 ， 
公共 模板 都 保存 在 Amazon 公共 文件 存储 服务 需 S3 中 (不 占用 用 户 自 己 的 文件 存储 空间 ) ， 
它 包含 启动 业务 所 必需 的 信息 。 

3) Instance; 通过 AMI 创建 的 实例 。 通 常 一 个 Instance 对 应 一 个 虚拟 机 。 

4) Instance Type: Amazon 为 了 满足 不 同 Instance 的 计算 需求 ， 在 实例 化 AMI 时 ， 用 户 
可 选择 多 种 不 同类 型 的 实例 化 方式 ， 如 表 4-1 所 示 。 

表 4-1 各 种 类 型 的 实例 化 方式 





















































类 型 Nod CPU 价格 (美元 /小 时 ) 
Micro 613MB 1 -2 虚拟 、CPU 0. 007 
Small 1.7GB 1 虚拟 、CPU 0.03 
Large 7.5GB 2 虚拟 、CPU 0. 12 
Extra Large 15GB 4 虚拟 、CPU 0. 24 











其 中 对 于 Micro 类 型 的 虚拟 机 实例 ， 会 根据 CPU 的 实际 使 用 情况 ， 在 计算 量 较 大 时 ， 提 
供 两 个 虚拟 CPU。 并 且 对 新 注册 的 用 户 第 一 年 可 以 免费 使 用 一 台 Micro 类 型 的 虚拟 机 实例 。 

5) Regions; Amazon EC2 文 持 在 多 个 地 理 位 置 不 同 的 区 域 (美国 、 爱 尔 兰 、 日 本 、 新 
加 坡 ) 创建 实例 ， 在 每 一 个 Region, ， 都 有 一 个 标准 的 数据 中 心 提供 EC2 服务 。 

要 使 用 EC2 ， 在 登录 AWS 后 ， 需 要 单 击 链接 Sign in to the AWS Management Console 一 
EC2 进入 EC2 管理 界面 ， 如 图 4-23 所 示 。 
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aws.amazon.com AWS | Products | Developers | Community Support Account Welcome, Skater Qiang Settings | Sign Out 
Elastic Beanstalk S3 EC? VPC  CloudWatch Elastic MapReduce CloudFront CloudFormation RDS SNS IAM 
Amazon EC2 Console Dashboard 
Region: 
m US East (Virginia) = Getting Started ~ My Resources = 
> EC2 Dashboard You are using the following Amazon EC2 resources in 


To start using Amazon EC2 you will want to launch a virtual server, 
known as an Amazon EC2 instance. 


— Refresh 
the US East (Virginia) region: 


INSTANCES 

V Yneiinces E: ill 0 Running Instances $ o Elastic IPs 
Launch Instance 

> Spot Requests 一 -一 一 


9 0 EBS Volumes [9] o EBS Snapshots 

» Reserved Instances : i 
界 0 Key Pairs Q 1 Security Group 
-. Note: Your instances will launch in the US East (Virginia) region. 
IMAGES jk 0 Load Balancers il 0 Placement Groups 
> AMIS 
» Bundle Tasks " 
Service Health - Related Links = 





ELASTIC BLOCK STORE 


> Volumes 


Current Status Details Documentation 


> Snapshots 


加 Amazon EC2 (us East - N. Virginia) Service is operating normally All EC2 Resources 


NETWORKING & SECURITY > View complete service health details > Forums 
> Security Groups 

> Elastic IPs 

> Placement Groups 


Feedback 


Report an Issue 
> Load Balancers 
> Key Pairs 


图 4-23 EC2 管理 界面 


在 这 个 管理 界面 中 ， 用 户 可 以 从 右 侧 My Resources 区 域 中 看 到 现在 所 使 用 的 资源 。 通 过 
左边 的 Navigation 迅速 查看 实例 、 模 板 (AMI) 、 存 储 等 资源 的 详细 信息 。 当 然 它 也 允许 用 
户 通过 单 击 中 间 的 Launch Instance 按钮 创建 实例 ， 如 图 4-24 所 示 ， 进 入 AMI 选择 页 面 。 


Request Instances Wizard 


O AM 





Cancel |X 


Choose an Amazon Machine Image (AMI) from one of the tabbed lists below by clicking its Select button. 


| Quick Start | My AMIs | Community AMIs 


Basic 32-bit Amazon Linux AMI 2011.02.1 Beta (AMI Id: ami-8clfece5) E 
Amazon Linux AMI Base 2011.02.1, EBS boot, 32-bit architecture with Amazon EC2 [ C ml 
amazon Select 
www ^ AMITools. 一 


Root Device Size: 8 GB 


Basic 64-bit Amazon Linux AMI 2011.02.1 Beta (AMI Id: ami-8elfece7) 

Amazon Linux AMI Base 2011.02.1, EBS boot, 64-bit architecture with Amazon EC2 ————XM > 
Select 

AMI Tools. €— 


Ee 
Root Device Size: 8 GB 


m 


i 
1 
i 


SUSE Linux Enterprise Server 11 32-bit (AMI Id: ami-e0a35789) 

SUSE Linux Enterprise Server 11 Service Pack 1 basic install, EBS boot, 32-bit 
La architecture with Amazon EC2 AMI Tools preinstalled; Apache 2.2, MySQL 5.0, PHP Select 

5.3, Ruby 1.8.7, and Rails 2.3. 

Root Device Size: 15 GB 


SUSE Linux Enterprise Server 11 64-bit (AMI Id: ami-e4a3578d) 

SUSE Linux Enterprise Server 11 Service Pack 1 basic install, EBS boot, 64-bit 
35 e. architecture with Amazon EC2 AMI Tools preinstalled; Apache 2.2, MySQL 5.0, PHP Select 

5.3, Ruby 1.8.7, and Rails 2.3. 








4-24 选择 AMI 


如 同 在 私有 云 中 介绍 的 ISF 一 样 ， 在 AMI 选择 页 面 中 也 要 创建 EC2 实例 ， 首 先 要 选择 
一 个 模板 (AMI), Amazon 与 很 多 第 三 方 厂商 (比如 微软 ，SUSE，Red Hat, JBOSS, Ora- 
cle) 合作 创建 了 很 多 AMI 供用 户 选 择 。 这 里 选择 带 星 号 的 免费 模板 (ami -8clfece5， 这 是 一 个 
Amazon 制作 的 Linux 模板 ) 作 演 示 。 单 击 Select 按钮 后 ，EC2 会 提示 用 户 选 择 实例 化 AMI 的 参 
数 ， 作 为 演示 ， 依 然 选择 免费 的 硬件 设置 参数 ， 如 图 4-25 所 示 。 

单 击 Continue 按钮 。EC2 会 提示 用 户 新 建 一 个 SSH 访问 密 钥 ， 如 图 4-26 所 示 。 

请 将 密 钥 保 存 到 本 地 硬盘 ， 稍 后 将 使 用 该 密 钥 访问 新 创建 的 虚拟 机 。 接 着 是 为 实例 配置 
Security Group ， 如 图 4-27 所 示 。 





T 
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Request Instances Wizard 


MOOSE AN AM INSTANCE DETAILS 


Provide the details for your instance(s). You may also decide whether you want to launch your instances as "on-demand" or "spot" 
instances. 


Number of Instances: 1 Availability Zone: No Preference ~ 





Instance Type: icro (t1.micro, 613 MB) 


Type CPU Units CPU Cores 











9 Launch Instance 
Micro (t1.micro) (Free tier eligible) Upto2ECUs  1Core 


EC2 Instances let you pa| 


large fixed costs into mu Small (m1.smal) 1 ECU 1 Core 


High-CPU Medium (c1.medium) 5 ECUS 2 Cores 
© Request Spot In 


Launch Instances Into Your Virtual Private Cloud 


图 4-25 选择 实例 化 AMI 的 参数 


Cancel 


Request Instances Wizard 


CHOOSE AN AMI INSTANCE DETAILS CREATE KEY PAIR 
Public/private key pairs allow you to securely connect to your instance after it launches. To create a key pair, enter a name and 


click Create & Download your Key Pair. You will then be prompted to save the private key to your computer. Note, you only 
need to generate a key pair once - not each time you want to deploy an Amazon EC2 instance. 


© Choose from your existing Key Pairs 


€ Create a new Key Pair 


1.Enter a name for your key pair: * ec2test| (e.g., jdoekey) 


2. Click to create your key pair:* 








R Create & Download your Key Pair 








(S Save this file in a place you will 

remember. You can use this key pair to 
launch other instances in the future or visit 
the Key Pairs page to create or manage 
existing ones. 


© Proceed without a Key Pair 


图 4-26 创建 访问 密 钥 





Request Instances Wizard Cancel [> 


CHOOSE AN AMI NSTANCE DETAILS REATE KEY PAIR CONFIGURE FIREWALL 
Security groups determine whether a network port is open or blocked on your instances. You may use an existing security group, or we 


can help you create a new security group to allow access to your instances using the suggested ports below. Add addional ports now or 
update your security group anytime using the Security Groups page. 


O Choose one or more of your existing Security Groups 


€ Create a new Security Group 





























Group Name quick-start-1 r3 
Group Description quick-start-1 
Inbound Rules 
EX a NEW Custom TCP rule Ed VEN 
d Port (Service) [ 
Port range: 
22 (SSH) 0.0.0.0/0 Delete 
(e.g., 80 or 49152-65535) 
Source: 0.0.0.0/0 
(e.g., 192.168.2.0/24, sg-47ad482e, or 
1234567890/default) 














S Add Rule 





图 4-27 配置 Security Group 
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现在 用 户 拥 有 了 一 个 Security Group 资源 。 该 Security Group 定义 了 一 组 访问 规则 允许 使 
用 SSH 协议 通过 22 端口 访问 实例 。 单 击 Continue 按钮 ， 最 后 单 击 Launch 按钮 ， 创 建 一 个 新 
的 EC2 实例 ， 如 图 4-28 所 示 。 


Request Instances Wizard Cancel [X 


O 
REVIEW 
Please review the information below, then dick Launch. 


AMI: Ei Amazon Linux AMI ID ami-8clfece5 (i386) 


Basic 32-bit Amazon Linux AMI 2011.02.1 Beta 
Amazon Linux AMI Base 2011.02.1, EBS boot, 32-bit architecture with 


Name: 
Description: 


Number of Instances: 
Availability Zone: 
Instance Type: 
Instance Class: 


Monitoring: 


Tenancy: 
Kernel ID: 
RAM Disk ID: 
User Data: 


Key Pair Name: 


Security Group(s): 


Back 


Amazon EC2 AMI Tools. 


1 

No Preference 
Micro (ti.micro) 
On Demand 


Disabled 
Default 

Use Default 
Use Default 


Termination Protection: Disabled 


Shutdown Behavior: Stop 


skatergiangkey 


sg-e25f288b 


| Launch | 


图 4-28 新 的 EC2 实例 





FT 


Edit AMI 


Edit Instance Details 


Edit Advanced Details 


Edit Key Pair 


Edit Firewall 


回 到 EC2 首页 面 ， 在 My Resources 页 面 中 ， 可 以 看 到 有 一 个 正在 运行 的 实例 使 用 了 一 
Hk EBS 存储 空间 。 同 时 Amazon 为 用 户 提 供 了 负载 均衡 服务 ， 如 图 4-29 所 示 。 





Elastic Beanstalk S3 EC? VPC 


CloudWatch Elastic MapReduce CloudFront CloudFormation RDS SNS IAM 





Amazon EC2 Console Dashboard 
Region: 
m US East (Virginia) = Getting Started - My Resources E 


> EC2 Dashboard 


To start using Amazon EC2 you will want to launch a virtual 
server, known as an Amazon EC2 instance. 


You are using the following Amazon EC2 
resources in the US East (Virginia) region: 


D Refresh 


INSTANCES 


TIME SEIEN ill 1 Running Instance $9 o0 Elastic IPs 

| Launch Instance 
> Spot Requests 1 EBS Volume [9] o EBs Snapshots 
» Reserved Instances 


@ 3 Security Groups 


ə 
Wf 1 Key Pair 
IMAGES 水 


Note: Your instances will launch in the US East (Virginia) 


region. ; 1 Load Balancer 








Mi o Placement Groups 
> AMIS 


> Bundle Tasks 





4-29 ”成功 创建 EC2 实例 
要 访问 所 创建 的 EC2 实例 ， 可 依次 单 击 Navigation 一 Instances , 


Viewing: All Instances 


如 图 4-30 所 示 。 


~ Alinstance Types - | 














€ € 1tolofiinstances 》 | 
Name ^ Instance AMIID Root Device — Type Status Security Groups Key Pair Name ^ Monitoring ^ Virtualization 

m empty ， 国 Ho4d5slg  ami-8ctfece5 | ebs tmicro  @ rumning  quick-start-1 skatergangkey 国 vasic paravirtual 
Elastic IP: Root Device: sdal P 
Root Device Type: ebs Tenancy: default 
Lifecycle: normal 
Block Devices: sdal 
Public DNS: 6c2-50-16-19-57.compute- 1.amazonaws.com 
Private DNS: ip-10-112-69-146.ec2.internal 


m 


Private IP Address: 10.112.69.146 


Launch Time: 2011-05-10 21:33 UTC+0800 "| 
State Transition Reason: 


Termination Protection: Disabled 


4-30 
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在 详细 信息 页 面 中 ， 用 户 可 以 查询 到 Publice DNS， 这 就 是 实例 的 因特网 主机 名 。 

现在 需要 使 用 之 前 所 下 载 的 密 钥 文件 ， 通 过 SSH 连接 新 创建 的 主机 ， 如 代码 清 
4-9 所 示 。 

【代码 清单 4-9]】 








Tu 











[ root? skaterTest ~ |#ssh — i skaterqiangkey. pem ec2 — user? ec2 — 50 - 16 — 19 — 57. compute — 1. a 


mazonaws. com 


— d . dl. ) Amazon Linux AMI 
"rad / Beta 
TENN le see 
See /usr/share/doc/system — release — 2011. 02 for latest release notes. : — ) 
[ ec2 — user? ip - 10 112 —69 — 146 ~ ] $ cat /proc/version 
Linux version 2. 6. 35. 11 — 83. 9. amznl. 1686 ( mockbuild ? build — 31004. build) ( gcc version 


4. 4. 4 20100726 (Red Hat 4. 4.4 —13) (GCC) ) #1 SMP Sat Feb 19 23:41:56 UTC 2011 


[ec2 — user? ip -10—112—69 - 146 ~ ] $ cat /proc/meminfo 


MemTotal : 617016 KB 
MemFree: 519952 KB 
Buffers ; 6356 KB 
Cached: 65312 KB 


[ ec2 — user? ip - 10 - 112 269 - 146 ~ ] $ cat /proc/cpuinfo 





processor :0 #CPU 序号 从 0 开始 

vendor_id : Genuinelntel 

cpu family :6 

model 805 

model name : Intel(R) Xeon( R) CPU E5430 @ 2.66GHz 
stepping : 10 

cpu MHz : 2659. 994 

cache size : 6144 KB 


[ ec2 - user? ip - 10 - 112-69 -146 ~ ] $ 
Broadcast message from root? ip — 10 — 112 — 69 — 146 
(unknown) at 14:12 ... 


The system is going down for power off NOW! 
Connection to ec2 — 50 —16 — 19 —57. compute — 1. amazonaws. com closed by remote host. 


Connection to ec2 — 50 — 16 — 19 —57. compute — 1. amazonaws. com closed. 





通过 Linux 命令 可 以 看 出 ，Amazon 免费 提供 的 主机 使 用 Intel Xeon. (至 强 ) 处 理 器 并 配 
备 600MB 内 存 。 大 部 分 的 应 用 程序 ( 比如 Java 网 络 应 用 程序 ) 都 可 以 较为 流畅 的 在 上 面部 
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署 运 行 。 
4.3.3 使 用 Eclipse 集成 开发 环境 


通过 上 面 的 配置 ， 我 们 拥有 了 一 个 可 以 通过 因特网 访问 的 主机 ， 按 照 前 面 IDC 的 术语 ， 
可 以 说 获得 了 一 个 VPS (Virtual Private Server) 主机 。Amazon 在 VPS 这 方面 的 优势 可 能 就 
在 于 它 提 供 了 相对 较 好 的 主机 管理 方式 。 除 此 之 外 ，Amazon 也 不 仅仅 只 有 EC2 这 一 种 服 
务 ， 还 有 S3, SimpleDB 等 数据 服务 供用 户 与 自己 的 应 用 程序 结合 使 用 。 通 过 提供 一 体 化 的 
解决 方案 ，Amazon 整合 了 用 户 的 应 用 开发 部 署 环境 ， 从 而 降低 了 整个 应 用 程序 的 运行 费用 。 

为 此 Amzon 开发 了 基于 Eclipse 的 集成 开发 环境 (建议 使 用 Eclipse Java EE 版 开发 工具 
安装 AWS 插件 )。 在 Eclipse 中 单 击 Help — Install New Software， 输 入 http: // 
aws. amazon. com/eclipse ， 如 图 4-31 所 示 。 





























Æ] Install EX 
Available Software 
Check the items that you wish to install. PE 
Work with: http://aws.amazon.com/eclipse - http:;//aws.amazon.com/eclipse v Add... 


Find more software by working with the "Available Software Sites" preferences. 


type filter text 


























Name Version 
[v] 000 AWS Toolkit for Eclipse 
V| 4p Amazon EC2 Management 1.1.0./201101181646 
V] 4p Amazon SimpleDB Management 1.0.0.v201101181646 
V] 4p AWS Elastic Beanstalk 1.0.0./201105031407 
V] 4 AWS SDK for Java 1.2.0.201105091533 
V] 4p AWS Toolkit for Eclipse Core 1.0.5..201101181646 
Select All | Deselect All 5 items selected 
Details 
[V] Show only the latest versions of available software [E] Hide items that are already installed 
V| Group items by category What is already installed? 


[7| Contact all update sites during install to find required software 





图 4-31 安装 Eclipse AWS 插件 








Eclipse 插件 包含 EC2 管理 、SimpleDB 管理 、Beanstalk 继承 部 署 工具 、AWS SDK 以 及 开 
发 工具 包 。 

安装 AWS Eclipse 插件 后 ， 需 要 稍 作 配 置 ， 单 击 Window 一 Preferences 一 AWS Toolkit。 设 
置 访问 AWS 的 Access Key ID 与 Secret Access Key， 如 图 4-32 所 示 。 

访问 AWS 针对 不 同 的 服务 ， 需 要 使 用 不 同 的 认证 方式 。 一 般 来 说 访问 主机 需要 提供 文 
件 密 钥 ， 而 通过 API 访问 SimpleDB 或 S3 等 服务 ， 则 需要 提供 Access Key。 单 击 find your ex- 
isting AWS security credentials 链接 可 以 获得 所 需要 的 密 钥 。 
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[8] Preferences eu 
type filter text AWS Toolkit X ey 


General AWS Toolkit Preferences 

Android 

Ant AWS Security Credentials: 

AWS Toolkit Sign up for a new AWS account or find your existing AWS security credentials. 


Data Management 
Google 

Help 

Install/Update 

Java 

Java EE 

Java Persistence 
JavaScript 

Plug-in Development 
Remote Systems 





Access Key ID: AKIAJBCPCRWNS56VL2ZBQ 


Secret Access Key: 


E| Show secret access key 





Optional Configuration: 


Your AWS account number and X.509 certificate are only needed if you want to bundle 
EC2 instances from Eclipse. Manage your AWS X.509 certificate. 





Account Number: 


upg ex 1111-2222-3333 

Server 

Tasks Certificate File: 
Team 

Terminal Da 人 aa 


Usage Data Collector 
Validation 


See Network connections to configure how the AWS Toolkit connects to the internet. 











Web Get help or provide feedback on the AWS Java Development forum. 
Web Services 
XML 
| Restore Defaults | | Apply | 
Q | OK | | Cancel | 








图 4-32 设置 AWS Toolkit 


























在 Eclipse 中 可 以 创建 各 种 AWS 的 应 用 程序 ， 单 击 AWS 按钮 co v ， 如 图 4-33 所 示 。 


-irra ~ 
New AWS Java Project... 
New AWS Java Web Project... 


New AWS Elastic Beanstalk Environment... 


Connect to Amazon SimpleDB... 


Show Data Source Explorer View 


Ej Open Amazon EC2 Management Perspective 
Launch Amazon EC2 Instances... 


Show View » 


Go to AWS Management Console 


Preferences... 














器 

















4-33 Él AWS 按钮 调用 AWS 的 各 种 工具 











比如 单 击 New AWS Java Web Project 菜单 项 即 可 ， 创 建 一 个 AWS Java Web Project, 4H 
图 4-34 所 示 。 


4.3.4 ”基于 AWS SDK 开发 应 用 程序 


通过 前 面 的 步骤 ,我们 已 经 准备 好 开发 基于 AWS 的 应 用 。 为 便于 比较 ， 我 们 在 AWS 中 
也 创建 一 个 与 GAE 中 类 似 的 留言 本 应 用 程序 。 

Amazon SimpleDB 与 Google Bigtable 类 似 ， 也 采用 键 值 存储 ， 并 提供 API 供 开发 人 员 使 
Ho AWS 用 户 可 免费 使 用 5GB 的 空间 。 

在 Amazon SimpleDB 中 传统 的 表 被 称 为 “ 域 ” (Domain), ， 相 应 的 行 称 为 “项 目 ” G- 
tem) ， 列 被 称 为 “属性 ” (Attribute) 。 下 面 的 例子 展示 了 如 何 使 用 Amazon. API 创建 域 以 及 
插入 和 查询 数据 ， 如 代码 清单 4-10 所 示 。 
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New AWS Java Web Project 


Configure the options for creating a new AWS Java web 


(8j New AWS Java Web Project cj») 
amazon 
webservices” 


project. 


Project name: AWSGuestBook 


Your AWS security credentials will be automatically added to the 
AwsCredentials.properties file in your new project. 


Access Key ID: AKIAJBCPCRWN56VL2ZBQ 





Start from: 


and Amazon SNS. 








Secret Access Key: [rrr 


[7] Show Secret Access Key View my AWS security credentials 


© Basic Java Web Application 


A simple Java web application with a single JSP. 


Travel Log - Sample Java Web Application 


A Java web application demonstrating the use of Amazon S3, Amazon SimpleDB, 





2 AWSGuestBook 
$8 src 
= JRE System Library [jre6] 
mà J2EE Runtime Library [AWS Elastic Beanstalk J2EE f 
mà Web App Libraries 
=À AWS SDK for Java [1.2.0] 
| & build 





| Finish | | Cancel 








& WebContent 








图 4-34 创建 AWS Java Web Project 


【代码 清单 4-10]】 


AmazonSimpleDB sdb = new AmazonSimpleDBClient( new PropertiesCredentials( 


CreateData. class. getResourceAsStream( " AwsCredentials. properties" ) ) ) ; 














System ou punin G E 
System. out. println(" 创建 Amazon SimpleDB 数据 " ) ; 
Systemsoutapnntdn(Ge == on 
try | 

String myDomain = "GuestBook" ; 

// 创建 域 





System. out. println(" 创建 域 : " + myDomain + ". n"); 


sdb. createDomain( new CreateDomainRequest ( myDomain) ) ; 


// 列 出 账户 中 现 有 的 域 
System. out. println(" 列 出 账户 中 现 有 的 Jk: Vn" ) ; 


for (String domainName : sdb. listDomains( ). getDomainNames( ) ) | 


M" 


System. out. println( " + domainName) ; 


| 


System. out. println( ) ; 





// 创建 数据 
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System. out. println( " 将 数据 放 入 " + myDomain + " 域 . \n"); 
sdb. batchPutAttributes (new BatchPutAttributesRequest ( myDomain, createFirstMessage( ) ) ) ; 


// 从 域 中 查询 数据 , 注意 后 引号 


String selectExpression = "select * from 


System. out. println( " Selecting: ' 





[TESTI 


+ myDomain + ; 


{w 


+ selectExpression + "\n"); 


SelectRequest selectRequest = new SelectRequest( selectExpression ) ; 


for (Item item : 
System. out. println( " 
System. out. println( " 


for ( Attribute attribute : 


| 


System. out. println( " 
System. out. println( " 


System. out. println( " 


System. out. println( ) ; 


// 删除 域 


// sdb. deleteDomain( new DeleteDomainRequest ( myDomain ) ) ; 


sdb. select( selectRequest). getltems( ) ) | 
Item" ) ; 
Name; " + item. getName( ) ) ; 


item. getAttributes( ) ) | 


Attribute" ) ; 
Name; " + attribute. getName( ) ) ; 


Value; " + attribute. getValue( ) ) ; 


} catch ( AmazonServiceException ase) | 
System. out. println( " 捕获 AmazonServiceException 异常 ,这 说 明 您 的 请 求 已 经 发 送 
到 了 Amazon SimpleDB," + 
" 但 是 由 于 种 种 原因 ,请求 失败 " ) ; 


System. 
System. 
System. 
System. 


System. 





out. println( " 错误 信息 : 





M" 


+ ase. getMessage( ) ) ; 





out. println( " HTTP 状态 码 : " + ase. getStatusCode( ) ) ; 

out. println( " AWS 错误 码 : " + ase. getErrorCode( ) ) ; 

out. println( " Error 错误 类 型 . " + ase. getErrorType( ) ) ; 
out. println( " Request ID: " + ase. getRequestId( ) ) ; 


} catch ( AmazonClientException ace) | 
System. out. println( " 捕获 AmazonClientException 异常 , 无 法 正常 连接 SimpleDB " ) ; 


System. out. println ( " 错误 信息 : 

















程序 执行 结果 如 下 : 


Item 


Name: 留言 


Attribute 





Name; Message 


Value; 作者 的 围 脖 http ://weibo. com/skaterqiang 


Attribute 


M" 


+ ace. getMessage( ) ) ; 
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Name: Date 


Value; 星期 日 , 15 五 月 2011 15:00:38 CST 



































通过 上 面 的 例子 ， 有 些 读者 可 能 已 经 注意 到 了 ， 数 据 项 目的 名 称 必 须 唯一 确定 ， 而 当 用 
户 需 要 插 和 人 留言 信息 时 ， 如 果 数 据 项 目的 名 称 重 复 ， 就 会 将 上 一 次 的 记录 履 盖 掉 。 故 需要 自 
己 生 成 主 码 ， 如 代码 清单 4-11 所 示 。 

【代码 清单 4-11 











private static List < Replaceableltem > createGreetingMessage( String message) | 

List < Replaceableltem > sampleData = new ArrayList < Replaceableltem > ( ) ; 

UUID uuid = UUID. randomUUID( ) ; 

String randomUUIDString = uuid. toString( ) ; 

SimpleDateFormat format = new SimpleDateFormat( " EEE, dd MMM yyyy HH:mm:ss z", 
Locale. CHINA ) ; 

sampleData. add ( new ReplaceableItem ( randomUUIDString). withAttributes( 

new ReplaceableAttribute( " Date" , format. format( new Date( ) ) , true) , 


new ReplaceableAttribute( " Message" , message, true) ) ) ; 


return sampleData ; 


| 





AWS 暂时 不 提供 类 似 GAE 那样 的 用 户 管理 模块 ， 故 在 AWS 留言 本 应 用 程序 中 ， 暂 时 
不 加 认证 模块 。AWS 留言 模块 详细 代码 请 参考 本 书 所 附 代码 sample4/AWSGuestBook 。 在 本 
地 运行 效果 如 图 4-35 所 示 。 




















留言 日 期 
作者 的 围 脖 http://weibo. com/ skaterqiang | 星期 日 ，15 五 月 2011 15:00:38 CST 
AWS 留言 本 星期 日 ，15 五 月 2011 16:31:33 CST 
你 好 AWS 星期 日 ，15 五 月 2011 16:34:13 CST 











图 4-35 AWS 留言 本 应 用 程序 本 地 运行 效果 








4.8.5 ”将 应 用 程序 部 署 到 AWS 中 


将 应 用 程序 部 署 到 AWS 中 有 多 种 方式 ， 用 户 可 以 自行 在 EC2 实例 中 安装 Tomcat， 并 将 
应 用 程序 上 传 。 不 过 这 种 方式 需要 配置 Tomcat ， 另 外 还 需 自己 上 传 ， 显 然 比 GAE 的 一 键 式 
部 署 要 复杂 。 于 是 Amazon 于 2011 年 初 发 布 了 一 体 化 部 署 服务 BeansTalk。 该 服务 会 将 应 用 
自动 上 传 到 AWS 中 ， 并 为 其 自动 创建 虚拟 机 ， 搭 建 Tomcat 服务 器 从 而 完成 部 署 。 

在 Eclipse 中 单 击 Run 一 As 一 Run on Server， 如 图 4-36 所 示 。 
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1$] Run On Server | cl 








Run On Server 


How do you want to select the server? 


© Choose an existing server 





) Manually define a new server 


Select which server to use E 


Download additional server adapters 





Select the server type: 
type filter text 





© Amazon Web Services 
ill AWS Elastic Beanstalk for Tomcat 6 
ill AWS Elastic Beanstalk for Tomcat 7 
© Apache 











An AWS-managed Apache Tomcat application server 


Server's host name: skaterawshost 





Server name: AWS Elastic Beanstalk for Tomcat 6 at skaterav 








[E Always use this server when running this project 








Cancel 





Q [ < Back Net» ]( Fnsh || 























图 4-36 使 用 BeansTalk 部 署 应 用 

















Configure Application and Environment 


Choose a name for your application and environment 











Region: | Us.East (Northern Virginia) z) 





AWS regions are geographically isolated, allowing you to position your Elastic 
Beanstalk application closer to you or your customers. 


Application: 


(€) Create a new application: 





Name: awsguestbook 


Description: 


© Choose an existing application: [My First Elastic Beanstalk Application 








Environment: 
Name: awsguestbook 
Description: 
Import an existing environment into the Servers view 
Q | < Back | Next > | | Finish ] | Cancel | 























图 4-37 设置 应 用 的 名 称 及 部 署 地 点 





选择 Tomcat 6 或 者 Tomcat 7 部 署 应 用 ， 单 击 Next 按钮 ， 进 入 下 一 步 ， 如 图 4-37 所 示 。 


[©] Run On Server [三 | 国 | x 


125 


云 计 算 : 应 用 开发 实践 


在 BeansTalk 中 用 户 可 以 选择 所 要 部 署 的 服务 器 区 域 ， 这 对 于 部 署 到 很 多 区 域 的 应 用 程 
序 来 说 极为 方便 。 在 部 署 之 前 ，BeansTalk 会 要 求 用 户 输 入 版 本 信息 ， 以 方便 应 用 程序 未 来 
的 维护 工作 ， 如 图 4-38 所 示 。 


Publishing to AWS Elastic Beanstalk x 





Select a label for your new application version. 


Version Label: v20110515 


Note: Launching a new environment may take several minutes. To monitor its 
progress, check the Progress View. 

















图 4-38 设置 应 用 程序 的 版 本 


笔者 通过 BeansTalk 部 署 AWS 留言 本 应 用 大 概 花 了 15 ~ 20min。 考 虑 到 BeansTalk 创 
建 虚 拟 机 ， 安 装 Tomcat 以 及 上 传 应 用 程序 ， 这 些 时 间 并 不 算 很 长 ，BeansTalk 部 署 应 用 程 
序 的 过 程 如 图 4-39 所 示 。 


{©} Updating AWS Elastic Beanstalk environment: awsguestbook l-le 





o Latest Event: Adding instance 'i-cfd...nvironment may take several minutes) 


a j 





[7] Always run in background 


Run in Background | Cancel | | Details >> 





























图 4-39 ”部 署 应 用 程序 





BeansTalk 首先 将 应 用 上 传 至 用 户 的 S3 文件 系统 中 ， 与 此 同时 准备 应 用 所 需要 的 运行 环 
境 完 成 部 署 ， 如 图 4-40 所 示 S3 中 存放 了 不 同 版 本 的 应 用 程序 。 








aws.amazon.com AWS | Products | Developers | Community ` Support | Account Welcome, Skater Qiang Sign Out 
Elastic Beanstalk 53 EC2 VPC CloudWatch | Elastic MapReduce CloudFront | CloudFormation RDS SNS | IAM 
局 Create Bucket | Actions Y Q9 Upload || (4 Create Folder || Actions ~ 5 Refresh || @ Properties (9 Transfers | 3 Help 
| elasticbeanstalk-us-east-1-285977615607 
Name Size Last Modified 
D awsguestbook-v1305648265703.war 3.8 MB Tue May 17 16:04:36 GMT+800 2011 
D awsguestbook-v20110515.war 3.8 MB Sun May 15 15:28:34 GMT+800 2011 


图 4-40 S3 中 存放 的 不 同 版 本 的 应 用 程序 


BeansTalk 也 支持 通过 AWS 管理 页 面部 署 应 用 。 在 BeansTalk 中 单 击 Create New Applica- 
tion， 如 图 4-41 所 示 。 

需要 注意 的 是 ，BeansTalk 会 在 默认 情况 下 启动 Linux 服务 器 部 署 应 用 程序 ， 如 果 用 户 
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Create New Application 


create a new lication, enter the details of your application below. Learn 
licatio! ni i 


o applic: 
ore about creating new applications using AWS Elastic Beanstal 


Application Name: 


Description: (optional, 200 char maximum) 





Application Source: 
© Use the Sample Application 
€ Upload your Existing Application 


Continue . 

















图 4-41 通过 AWS 管理 页 面部 署 应 用 








的 应 用 程序 在 Windows 上 测试 ， 并 使 用 了 一 些 与 Windows 环境 相关 的 信息 时 (比如 文件 路 
fe), ， 则 可 能 需要 根据 环境 亲自 动手 调整 应 用 程序 。 

本 节 实 现 了 基于 AWS 的 留言 本 应 用 程序 ， 同 时 也 与 GAE 作为 比较 。 通 过 学 习 我 们 可 以 
看 出 AWS 提供 了 一 个 非常 完善 的 因特网 应 用 开发 环境 。 它 的 这 套 模 式 是 对 现 有 IDC 服务 模 
式 的 提升 。 不 过 由 于 AWS 的 服务 器 都 在 海外 ， 从 国内 访问 会 有 比较 大 的 延迟 。 对 于 国内 的 
应 用 来 说 ，AWS 暂时 还 不 能 满足 速度 上 的 要 求 。 

另外 ， 相 信 很 多 读者 对 于 使 用 AWS 仍然 会 有 很 多 疑虑 ， 比 如 如 何 编写 程序 可 以 同时 运 
行 在 GAE 与 AWS 上 ，S3 究竟 怎么 使 用 ，GAE 如 何 与 AWS 集成 ， 这 些 问题 都 将 放 到 第 5 
章 ， 通 过 应 用 向 读者 介绍 。 


|4.4 其 他 公共 云 计 算 平 台 


除了 前 面 介绍 的 Google App Engine 和 Amazon AWS 外 ， 很 多 公司 都 推出 了 自己 的 公共 云 
计算 产品 。 


4.4.1 Microsoft Azure 


在 云 计算 领域 ，Google 和 Amazon 一 直 占 据 着 重要 的 角色 ， 它 们 很 早 就 推出 了 自己 的 云 
计算 服务 。 为 了 能 在 云 计 算 市 场 占 有 一 席 之 地 ， 微 软 在 2008PDC 大 会 上 也 正式 推出 了 自己 
的 云 计算 平台 产品 Microsoft Azure， 它 的 推出 可 以 被 认为 是 微软 从 之 前 仅 提 供 服 务 于 客 
户 端的 软件 产品 到 未 来 提供 云端 服务 的 一 次 重要 转型 。 下 面 是 Microsoft 云 计算 的 一 些 特点 。 

1. 软件 + 服务 

即 企业 既 可 以 从 云 中 获取 必需 的 服务 ， 也 可 以 自己 部 署 相 关 的 IT 系统 (ILE 4-42), 

很 多 企业 认为 有 些 YT 服务 适合 从 云 中 获取 ， 如 CRM (Customer Relationship Manage- 
ment ， 客 户 关 系 管理 ) 、 网 络 会 议 、 电 子 邮 件 等 ; 但 有 些 系统 不 适合 部 署 在 云 中 ， 如 企业 的 
核心 业务 系统 、 财 务 系统 等 。 因 此 ， 微软 认为 理想 的 模式 将 是 “软件 + 服务 ”"， 即 企业 既 可 
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3k: 3p mong 


图 4-42 微软 的 “软件 + 服务 ”战略 


以 从 云 中 获取 必需 的 服务 ， 也 可 以 在 本 地 部 署 自 己 的 开 系 统 。 

“软件 + 服务 ”可 以 简单 描述 为 两 种 模式 : 

(1) 软件 本 号 架构 模式 是 软件 加 服务 

例如 ， 杀 毒 软件 本 身 部 署 在 企业 内 部 ， 但 是 杀毒 软件 的 病毒 库 更 新 服务 是 通过 互联 网 进 
行 的 ， 即 从 云 中 获取 。 

(2) 部 分 IT 系统 自己 构建 男 一 部 分 向 第 三 方 租 赁 或 从 云 中 获取 服务 

例如 ， 企 业 可 以 直接 购买 软 硬 件 产品 ， 在 企业 内 部 部 署 ERP 系统 ， 同 时 通过 第 三 方 云 
计算 平台 获取 CRM、 电 子 邮 件 等 服务 ， 而 不 是 自己 建设 相应 的 CRM 和 电子 邮件 系统 。 

“软件 + 服务 ”的 好 处 在 于 ， 它 既 充 分 继承 了 传统 软件 部 署 方式 的 优越 性 ， 又 大 量 利用 
了 云 计算 的 新 特性 。 

2， 云 计算 平台 

微软 的 云 计算 平台 包括 三 部 分 ， 即 开发 平台 、 部 署 平台 和 运营 平台 。 

Windows Azure Platform 是 微软 的 云 计算 平台 ， 其 在 微软 的 整体 云 计算 解决 方案 中 发 挥 关 
键 作 用 。 它 既是 运营 平台 ， 又 是 开发 和 部 署 平台 ; 平台 既 可 运行 微软 的 自 有 应 用 ， 也 可 以 开 
发 部 署 用 户 或 独立 软件 开发 商 的 个 性 化 服务 ; 既 可 以 作为 Saas 等 云 服务 的 应 用 模式 基础 ， 
又 可 以 与 微软 线 下 的 系列 软件 产品 相互 整合 和 支撑 。 事 实 上， 基于 Windows Azure Platform, 
微软 在 云 计算 服务 和 线 下 客户 自 有 软件 应 用 方面 都 拥有 了 更 多 样 化 的 应 用 交付 模式 、 更 丰富 
的 应 用 解决 方案 、 更 灵活 的 产品 服务 部 署 方式 和 商业 运营 模式 。 

3， 自 由 选择 

(1) 用 户 可 以 自由 选择 传统 软件 或 云 服务 

HOS IT 软件 、 采 用 云 服务 或 者 两 者 都 用 ， 无 论 用 户 选 择 哪 种 方式 ， 微 软 的 云 计算 
都 能 支持 。 

(2) 用 户 可 以 选择 微软 不 同 的 云 服 务 
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无 论 用 户 需要 的 是 SaaS, PaaS 还 是 IaaSs， 微 软 都 有 丰富 的 服务 供 其 选择 。 如 图 4-43 所 
示 ， 微 软 拥有 全 面 的 Saas 服务 ， 包 括 针 对 消费 者 的 Live 服务 和 针对 企业 的 Online 服务 ; 也 
提供 基于 Windows Azure Platform 的 PaaS 服务 ; 还 提供 数据 存储 和 计算 等 laas 服务 ， 以 及 数 
据 中 心 优化 服务 。 用 户 可 以 基于 任何 一 种 服务 模型 选择 使 用 云 计算 的 相关 技术 、 产 品 和 
服务 。 


m 移动 终端 设备 
Client 


件 即 服务 





| 应 E 5 A : 
/EE 
3s 
身份 认证 管 SS T 业 
台 即 服务 E 
PaaS bz Dj 控制 qms 数 12 a 
z , 
Geiles dhuha ethes ii 
基础 设施 
即 服务 基 "mm 
laaS - 





图 4-43 微软 云 计 算 的 参考 架构 


(3) 用 户 和 合作 伙伴 可 以 选择 不 同 的 云 计算 运营 模式 

微软 提供 多 种 云 计 算 运营 模式 。 用 户 和 合作 伙伴 可 直接 使 用 微软 运营 的 云 计算 服务 ; 用 
户 也 可 以 采用 微软 的 云 计算 解决 方案 和 技术 工具 自 建 云 计算 应 用 ; 合作 伙伴 也 可 以 选择 运营 
微软 的 云 计算 服务 。 

事实 上 ， 微 软 通过 Azure 云 计算 平台 对 现 有 的 开发 环境 进行 了 整合 ， 并 且 也 与 云 计 算 进 
行 了 紧密 集成 。 对 于 使 用 微软 开发 工具 与 平台 开发 应 用 程序 的 用 户 来 说 ， 这 的 确 是 一 个 不 错 
的 选择 。 














4.4.2 Sina App Engine 





Sina App Engine 公有 云 计 算 平 台 是 新 浪 于 2009 年 年 底 推 出 的 国内 首 个 公有 云 计算 平台 。 
目前 Sina App Engine 支持 PHP 语言 ， 这 也 为 熟悉 PHP 语言 的 开发 人 员 提 供 了 一 种 公共 云 计 
算 平台 。 

值得 一 提 的 是 ， 新 浪 提 供 了 基于 MySQL 的 分 布 式 数据 库 。 该 数据 库 架构 在 新 浪 分 布 式 
数据 库 集群 RDC 之 上 。RDC 虽然 为 分 布 式 数据 库 集 群 ， 但 是 对 终端 用 户 完全 透明 ， 用 户 在 
使 用 RDC 时 ， 不 会 感觉 到 和 使 用 传统 的 MySQL 数据 库 有 任何 差异 ， 甚 至 都 有 可 能 不 知道 
RDC 的 存在 。 用 户 可 以 使 用 所 有 MySQL 标准 客户 端 (MySQL5 以 上 ) 操作 RDC， 如 mysql 
query, mysql connect 等 ， 它 的 错误 处 理 和 标准 MySQL 客户 端 处 理 模式 一 样 。 同 时 新 浪 也 
对 部 分 LO 操作 进行 了 限制 。 

总 体 来 说 ，Sina App Engine 是 在 借鉴 了 Google App Engine 和 Amazon AWS 成 功 经 验 的 基 
础 上 开发 出 来 的 。 它 对 于 使 用 PHP 的 用 户 是 一 个 不 错 的 选择 。 
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|^. 5 小 结 


通过 这 一 章 的 介绍 ， 我 们 学 习 了 常见 的 公共 云 计算 平台 。 通 过 公共 云 计算 平台 ， 我 们 可 
以 建立 借助 因特网 就 能 访问 的 应 用 程序 ， 而 又 不 用 花费 太 多 的 资金 。 同 时 ， 公 共 云 计算 平台 
是 对 私有 云 计算 的 良好 补充 ， 在 私有 云 资 源 不 足以 满足 企业 需求 时 ， 用 户 可 以 通过 购买 公共 
云 资源 来 扩展 私有 云 。 

细心 的 读者 也 许 会 发 现 ， 公 共 云 计算 所 使 用 的 很 多 技术 在 私有 云 上 也 在 使 用 ,并且 有 些 
私有 云 计算 平台 ， 比 如 ISF 所 提供 的 功能 与 Amazon 的 EC2 很 相似 。 事 实 上 公共 云 计 算 平台 
与 私有 云 计 算 平 台 在 技术 上 的 界限 并 不 明显 ， 很 多 企业 都 可 以 像 Google 或 者 Amazon 一 样 通 
过 包装 自身 私有 云 计算 资源 向 外 部 用 户 或 者 合作 企业 提供 服务 来 获取 更 多 的 收益 。 

除了 本 书 所 介绍 的 公共 云 计 算 平 台 ， 还 有 很 多 公共 云 计算 平台 ， 考 虑 到 业务 逻辑 和 开发 
语言 的 重复 性 ， 笔 者 在 本 章 着 重 介 绍 较 有 特色 的 公共 云 计算 平台 。 

希望 这 一 章 的 介绍 能 使 读者 们 对 如 何 选择 合适 的 云 计算 服务 有 一 个 初步 认识 。 在 接 下 来 
的 一 章 中 我 们 将 分 析 使 用 公共 云 与 私有 云 所 提供 的 各 种 服务 ， 通 过 实例 以 及 技术 间 的 对 比 来 
深入 学 习 。 

考虑 到 读者 可 能 由 于 担心 泄露 信用 卡 或 手机 信息 给 公共 云 平台 提供 商 ， 本 书 所 有 应 用 程 
序 都 可 以 在 第 3 章 中 提 到 的 私 用 云 平台 中 部 署 运行 。 
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第 5 章 在 云 上 开发 你 的 应 用 


通过 前 面 章节 的 介绍 ,我 们 了 解 了 什么 是 云 计算 、 云 计算 产生 的 背景 、 云 计算 的 用 途 以 
及 与 云 计算 相关 的 虚拟 化 、 并 行 计算 、 主 机 管理 等 技术 。 有 了 这 些 知识 的 积累 ， 相 信 读 者 已 
经 跃跃欲试 ， 准 备 使 用 云 计算 开发 自己 的 应 用 了 。 

从 本 章 开始 ， 我 们 将 把 前 面 所 学 习 到 的 云 计算 技术 应 用 到 实践 中 去 ， 让 读者 在 应 用 中 体 
会 并 掌握 这 些 新 技术 。 

在 开始 应 用 实践 之 旅 之 前 ， 我 们 需要 对 云 计算 所 涉及 的 相关 技术 结合 实际 应 用 环境 进 一 
步 分 析 ， 找 出 应 用 所 适合 的 云 计算 技术 与 架构 。 





























5. 1 为 应 用 选择 合适 的 架构 与 技术 


笔者 认为 可 以 根据 数据 的 使 用 方式 ， 将 应 用 分 为 三 种 : 以 计算 为 中 心 的 应 用 、 以 数据 为 
中 心 的 应 用 和 需要 兼顾 数据 与 计算 的 应 用 。 

针对 上 面 所 提 到 的 不 同类 型 的 应 用 ， 我 们 需要 选择 合适 的 架构 以 及 技术 来 实现 。 

1， 以 计算 为 中 心 的 应 用 

通常 见 到 的 大 部 分 应 用 ， 计 算 所 需 的 数据 量 往往 都 不 是 很 大 ， 而 影响 执行 效率 的 通常 是 
计算 量 。 这 样 的 应 用 包括 : 统计 计算 〈 比 如 大 量 用 户 话费 的 计算 ) 、 模 拟 计算 (随机 算法 )、 
图 像 处 理 以 及 信息 管理 系统 等 。 此 类 应 用 由 于 单个 计算 所 需 的 数据 量 较 小 ， 数 据 传输 的 代价 
小 ， 故 可 以 将 数据 集中 存放 ， 并 根据 计算 的 需要 实时 发 送 数据 ， 由 多 台 计 算 机 同时 计算 ， 以 
提高 计算 速度 。 

2， 以 数据 为 中 心 的 应 用 

而 对 于 Google 和 Baidu 这 样 的 互联 网 搜索 公司 来 说 ， 每 天 都 需要 从 互联 网 采集 海量 的 数 
据 ， 并 对 其 进行 分 析 。 其 应 用 所 需 的 输入 数据 往往 较 大 ， 故 它们 的 数据 一 般 存 放 于 像 HDFS 
这 样 的 分 布 式 文件 系统 上 或 类 似 的 集群 数据 服务 器 上 ， 这 些 数据 往往 以 大 文件 的 形式 存放 ， 
并 且 不 容易 被 拆 分 , 但 这 些 数 据 可 以 供 多 个 应 用 同时 读 取 。 在 这 样 的 情况 下 ， 一 般 不 会 移动 
数据 ， 而 会 将 任务 发 送 到 数据 所 在 的 服务 器 上 执行 。 

对 于 开发 人 员 来 说 ,需要 先 确定 所 开发 应 用 的 类 型 并 结合 所 能 获取 的 计算 资源 ， 综 合 分 
析 后 才能 选择 合理 的 架构 与 技术 。 下 面 以 常见 的 百 兆 网 卡 ，7200 转 硬 盘 处 理 10GB 数据 为 
例 ， 将 数据 分 配 到 多 台 计 算 机 上 计算 所 花 的 时 间 ， 与 利用 多 核 CPU、 采 用 多 线程 技术 在 本 
地 计算 所 花费 的 时 间 (业务 可 使 用 并 行 计算 ) 进行 比较 。 详 细 信 息 如 表 5-1 所 示 。 

表 5-1 常见 计算 机 硬件 配置 






























































项 H $ Uu 
数据 块 10 GB 
100 Mbit/s 以 太 网 卡 实际 传输 速率 12. 8 MB/s 
7200 转 硬 盘 平均 实际 读 取 速 度 50 MB/s 
算法 使 用 单 核 计算 所 需 时 间 60min 
CPU 4 核 
实际 计算 时 间 为 ; 


实际 计算 时 间 = 单 核 处 理 时间 /CPU 核 数 + 数据 传输 时 间 + 数据 读 取 时 间 
利用 多 核 处 理 器 本 地 计算 所 需 时 间 为 (需要 重新 看 一 下 本 地 IO 的 计算 速度 ) 
实际 计算 时 间 = 单 核 处 理 时 间 /CPU 核 数 + 数据 读 取 时 间 
=(60min/4) x60 +10 x 1024/50 
z900s +204. 8s 
=1104. 8s 
=18 min 
将 数据 分 配 到 4 台 4 核 计算 机 上 同时 计算 ， 所 需 时 间 为 
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实际 计算 时 间 = 单 核 处 理 时 间 /CPU 核 数 + 数据 传输 时 间 + 数据 读 取 时 间 
260 x60/(4 x4) +(10 x1024/12. 8) x4 +10 x1024/50 
=225 s +3200s +204. 8s 
=60 min 
从 上 面 的 分 析 可 以 看 出 ， 由 于 数据 传输 量 较 大 ， 将 数据 分 发 到 多 台 计 算 机 上 执行 虽然 降 
低 了 算法 本 身 计算 所 花 的 时 间 ， 但 数据 传输 的 时 间 显著 增 大 ， 使 得 实际 计算 时 间 不 但 没有 减 
少 ， 反 而 变 长 。 
影响 数据 传输 的 主要 因素 有 数据 复制 的 数量 以 及 数据 本 身 的 大 小 。 假 如 输入 数据 在 
10 MB 以 内 ， 此 时 再 次 计算 ， 则 结果 为 : 
实际 计算 时 间 = 单 核 处 理 时 间 /CPU 核 数 + 数据 读 取 时 间 
=(60min/4) x60 +10/50 
=900.2s 
7 ]5min 
将 数据 分 配 到 4 f 4 核 计算 机 上 同时 计算 ， 所 需 时 间 为 : 
实际 计算 时 间 = 单 核 处 理 时 间 /CPU 核 数 + 数据 传输 时 间 + 数据 读 取 时 间 
260 x60/(4 x4) + (10/12. 8) x4 +10/50 
-230s 
7-4 min 
这 个 时 候 采 用 多 台 计 算 机 并 行 计算 就 可 以 极 大 地 提升 计算 速度 。 类 似 的 应 用 还 有 需要 进 
行 数据 挖掘 的 应 用 ( 比如 历史 交易 分 析 ) 、 人 口 统计 信息 、 日 志 分 析 等 。 
3， 需 要 兼顾 数据 与 计算 的 应 用 
在 实际 应 用 中 还 存在 需要 兼顾 大 数据 量 与 计算 量 的 应 用 。 和 针对 这 样 的 应 用 ， 可 以 采用 分 而 
治之 的 方式 ， 将 该 应 用 的 不 同 功能 模块 根据 实际 情况 采取 不 同 的 技术 ， 从 而 提高 计算 效率 。 


5.1.1. 以 计算 为 中 心 的 应 用 架构 选择 


当 以 计算 为 中 心 的 应 用 需要 提高 计算 速度 时 ， 除 了 可 以 在 本 机 利用 多 线程 编程 外 ， 通 常 
可 以 将 计算 所 需要 的 数据 分 发 到 多 台 计 算 机 上 同时 计算 ， 如 图 5-1 所 示 。 



























































计算 节点 计算 节点 
图 5-1 以 计算 为 中 心 的 应 用 架构 
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云 计 算 : 应 用 开发 实践 


一 般 这 样 的 应 用 计算 所 需 的 数据 量 较 小 ， 数 据 传输 所 花费 的 时 间 较 少 。 故 可 以 选择 侧重 
于 并 行 计算 ， 而 不 必 过 于 关注 数据 的 存储 问题 。 对 于 前 端 因特网 应 用 可 以 使 用 负载 均衡 器 来 
解决 ， 对 于 后 台 的 大 计算 量 则 可 以 选择 Platform Symphony 等 软件 来 解决 。 


5.1.2. 以 数据 为 中 心 的 应 用 架构 选择 


以 数据 为 中 心 的 应 用 与 以 计算 为 中 心 的 应 用 的 最 大 区 别 在 于 计算 所 需要 的 数据 “ 量 ”。 
当 需 要 传输 的 数据 量 较 大 ， 数 据 传输 的 时 间 消 耗 远 远大 于 使 用 多 人 台 计 算 机 共同 计算 所 节省 的 
时 间 时 ， 单 纯 地 使 用 多 台 计 算 机 提高 计算 速度 甚至 都 不 如 通过 在 数据 所 在 的 服务 器 使 用 多 线 
程 计算 来 提高 计算 速度 。 针 对 这 样 的 应 用 ，Google 公司 提出 的 MapReduce 计算 框架 是 现在 最 
为 有 效 的 计算 方式 ， 它 将 数据 在 最 初 产生 时 就 分 布 存放 在 分 布 式 文件 系统 中 ， 每 一 个 数据 存储 
节点 同时 也 是 数据 计算 节点 。 这 样 就 大 大 节省 了 数据 传输 时 间 ， 提 高 了 计算 速度 ， 如 图 5-2 
B. 
































图 5-2 ”以 数据 为 中 心 的 应 用 架构 


以 数据 为 中 心 的 应 用 可 以 采用 MapReduce 架构 (比如 Hadoop 实现 ) 构建 应 用 的 计算 
环境 。 


5.1.3 需要 兼顾 数据 与 计算 的 应 用 架构 选择 


对 于 同时 兼顾 数据 与 计算 的 应 用 来 说 ， 比 如 Google 的 搜索 页 面 ， 它 采取 前 端 页 面 使 用 
负载 均衡 需 提高 用 户 响应 速度 ， 后 台大 数据 量 计算 使 用 MapReduce 架构 来 解决 。 此 外 ， 在 
后 面 的 金融 模拟 分 析 中 ， 我 们 会 使 用 Symphony 来 解决 后 台大 计算 量 的 问题 。 


5.1.4 MapReduce 框架 并 不 能 解决 所 有 问题 


看 了 前 面 的 分 析 ， 有 的 读者 可 能 会 想 MapReduce 框架 既然 已 经 把 数据 节点 与 计算 节点 
整合 在 一 起 ， 可 以 始终 把 数据 分 发 到 数据 节点 上 供 计 算 节 点 计算 ， 这 样 不 就 在 解决 大 数据 量 
计算 的 同时 也 解决 了 大 计算 量 的 问题 么 ? 

但 是 ，MapReduce 并 不 能 解决 所 有 问题 ， 原 因 有 以 下 三 点 : 

1) 很 多 应 用 的 数据 是 集中 式 存 储 的 ， 绝 大 部 分 用 户 出 于 对 新 技术 熟悉 程度 、 可 靠 性 、 
安全 性 等 方面 的 考虑 ， 和 暂时 不 会 使 用 HDFS 这 样 的 分 布 式 文件 系统 ， 对 于 这 样 的 用 户 我 们 就 
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不 能 使 用 MapReduce 框架 。 

2) 现 有 的 MapReduce 实现 ， 数 据 都 是 分 散 式 存储 的 ， 如 果 用 户 计算 节点 上 所 需要 的 数 
据 相 似 或 完全 相同 ， 则 需要 在 每 一 个 数据 节点 上 都 存储 相同 或 类 似 的 数据 ， 这 样 数据 的 传输 
及 同步 势必 会 成 为 新 的 问题 。 并 且 这 也 与 分 布 式 数据 将 大 量 的 数据 分 散 存储 的 初衷 背 道 
而 驰 。 

3) MapReduce 的 计算 节点 是 数据 相关 的 ， 我 们 必须 将 任务 发 送 到 有 所 需 数据 的 节点 上 
运行 ， 在 实际 情况 下 ， 特 别 是 Hadoop P, 一般 数据 只 存在 于 整个 集群 中 的 几 个 节点 上 ， 故 
有 时 不 能 充分 利用 计算 资源 。 

到 目前 为 止 ， 还 没有 万 能 的 解决 方案 ， 我 们 要 根据 具体 业务 作 具 体 分 析 。 


[5.2 现 有 云 计算 技术 存在 的 问题 


在 前 面 的 章节 中 ， 我 们 学 习 了 使 用 多 种 不 同 的 公共 云 与 私有 云 计算 产 上 
某 一 方面 的 问题 ， 同 时 这 些 产 品 之 间 也 有 功能 重 钱 的 问题 。 在 使 用 这 些 产 上 
程序 时 ， 我 们 需要 尽量 避免 问题 ， 根 据 需要 选择 合适 的 服务 。 


5.2.1 NoSQL 数据 库 API 不 兼容 


一 般 的 应 用 程序 都 会 使 用 数据 库 作为 数据 管理 工具 。 而 在 云 计算 中 ， 比 如 Google, Am- 
azon, Apache 等 所 提供 的 分 布 式 数 据 库 ， 虽 然 它 们 的 设计 思想 一 致 ， 但 使 用 方式 却 有 很 大 的 
差异 。 

同样 是 插入 数据 ， 各 厂家 的 实现 就 不 同 ， 比 如 代码 清单 5-1、5-2、5-3 所 示 情 况 。 

1. AWS SimpleDB 插入 数据 

【代码 清单 5-1] 
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AmazonSimpleDBClient. batchPutAttributes( new BatchPutAttributesRequest ( myDomain, createFirstMes- 
sage( ) ) ) ; 
private static List < Replaceableltem > createFirstMessage( ) | 
List < ReplaceableItem > sampleData = new ArrayList < Replaceableltem > ( ) ; 
sampleData. add( new Replaceableltem ( " 留言 " ). withAttributes( 
new ReplaceableAttribute( " Date" , new Date( ) , true) , 
new ReplaceableAttribute( " Message" , "XXX" , true) ) ) ; 


return sampleData ; 


| 


2. HBase 插入 数据 
【代码 清单 5-2】 


// 创建 表 
HTable table = new HTable( config, " XXX") ; 
// 创建 skater 记录 
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Put p =new Put( Bytes. toBytes( " skater" ) ) ; 

// 设置 列 族 、 列 名 与 列 值 

p. add( Bytes. toBytes( columnFamily) , Bytes. toBytes( nameColumn) , Bytes. toBytes( " skater Qiang" ) ) ; 
p. add ( Bytes. toBytes ( columnFamily ) , Bytes. toBytes ( emailColumn ) , Bytes. toBytes ( " xqflying @ 
163. com" ) ) ; 

// 插入 数据 

table. put( p) ; 





3. GAE 插入 数据 
GAE 使 用 JDO 标准 作为 进行 其 数据 库 操作 的 方法 。 
【代码 清单 5-3]】 


PersistenceManager pm = PMF. get( ). getPersistenceManager( ) ; 


pm. makePersistent( Record ) ; 





以 上 所 述 的 数据 搬入 方式 ， 都 是 各 NoSQL 数据 库 在 介绍 文档 中 使 用 的 方式 。 通 过 对 比 
可 以 看 出 ， 各 NoSQL 数据 库 虽然 在 设计 上 相似 ， 但 在 使 用 时 却 有 很 大 的 不 同 。 这 种 不 同 会 
导致 当选 择 了 某 种 特殊 的 NoSQL 数据 库 开 发 应 用 后 ， 很 难 将 应 用 迁移 到 其 他 的 云 计 算 平 
台 上 。 

在 传统 关系 型 数据 库 中 ， 开 发 人 员 也 遇 到 了 类 似 的 问题 。 经 过 几 十 年 的 不 懈 努 力 ， 他 们 
创建 了 SQL 标准 数据 库 访 问 语言 。 对 于 新 兴 的 NoSQL 数据 库 ， 也 有 类 似 的 解决 方案 ， 如 针 
对 Java 语言， 几乎 所 有 的 NoSQL 数据 库 都 支持 JPA 标准 。 


5.2.2 使 用 JPA 访问 NoSQL 数据 库 


JPA 的 全 称 是 Java Persistence API。 它 的 产生 源 于 开发 人 员 发 现 ， 使 用 Java 这 种 面向 对 
象 的 编程 语言 访问 各 种 不 同 的 关系 型 数据 库 需 要 编写 大 量 重复 的 代码 ， 不 宜 于 维护 。 而 类 似 
将 需要 存储 的 对 象 转化 为 关系 型 数据 库 所 识别 的 SQL 语句 这 样 的 工作 可 以 由 专门 的 框架 进 
行 抽象 。 

Sun 公司 在 Java 的 早期 版 本 中 提出 了 EJB 标准 ， 该 标准 用 来 简化 Java 对 象 到 关系 型 数 
据 库存 储 (对 和 象 关 系 映射 (Object Relational Mapping, ORM)) 的 开发 。 但 这 种 标准 需要 专 
门 的 EJB 容器 ， 而 容器 本 身 的 执行 效率 与 开发 复杂 度 都 不 能 很 好 地 满足 开发 人 员 的 要 求 。 

针对 这 种 情况 ， 广 大 开发 人 员 开 发 出 了 Hibernate, DataNucleus 等 轻 量 级 的 ORM 开发 组 
建 。 使 用 这 种 组 建 开发 应 用 ， 在 大 多 数 情 况 下 ， 开 发 人 员 不 需要 知道 SQL 具体 该 怎么 写 ， 
而 只 要 调用 ORM 组 建 ， 它 就 会 自动 地 生成 SQL 语句 。 并 且 此 类 组 建 通 常 支 持 多 种 数据 库 ， 
并 屏蔽 数据 库 之 间 的 不 同 ， 极 大 地 简化 了 开发 。 

随 着 Hibernte 等 技术 的 普及 ， 这 些 技 术 也 逐渐 地 被 越 来 越 多 的 开发 人 员 所 认同 ，EJB 
3. 0 软件 专家 组 引入 了 新 的 JPA 规范 ， 作 为 JSR -220 实现 的 一 部 分 (Java Specification Re- 
quest， 是 关于 企业 JavaBean3. 0 的 规范 )。 但 它 并 不 属于 EJB 3.0， 用 户 可 以 在 Web 应 用 其 
至 桌面 应 用 中 使 用 ， 而 不 单单 是 企业 应 用 。 

JPA 的 总 体 思 想 和 现 有 的 Hibernate, DataNucleus 等 ORM 框架 大 体 一 致 。 总 的 来 说 ， 
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JPA 包括 以 下 两 方面 的 技术 。 

1. ORM 对 象 关系 映射 

ORM 简 言 之 就 是 如 何 将 Java 类 中 的 字段 、 名 称 等 与 关系 数据 库 中 的 列 名 、 表 名 关联 在 
一 起 。JPA 支持 XML 和 Java Annotation (注解 式 编程 ) 两 种 元 数据 的 形式 。 在 早期 的 Hiber- 
nate 实现 中 ， 只 文 持 通过 XML 的 方式 进行 映射 。 新 的 版 本 中 加 入 了 对 Java. Annotation 的 文 
持 。 从 编程 的 角度 ， 笔 者 比较 喜欢 使 用 Java Annotation 的 方式 。 这 种 方式 将 元 数据 定义 与 代 
码 紧密 结合 ， 使 开发 人 员 对 代码 进行 维护 更 容易 。 而 使 用 XML 的 好 处 在 于 更 便于 进行 部 署 
后 的 调整 ， 在 不 增加 新 字段 的 前 提 下 ， 可 以 通过 修改 XML 文件 来 改变 元 数据 的 映射 关系 。 
下 面 使 用 dataNucleus 的 ORM 来 实现 映射 Java 类 元 数据 。 假 设 我 们 要 创建 一 张 表 存放 产品 信 
E, H Java 类 如 代码 清单 5-4 所 示 。 

【代码 清单 5-4】 





























public class Product 


| 
long id; 
String name = null; 


String description = null; 
| 
如 代码 清单 5-4 所 示 ，Product 类 有 id, name 和 description 三 个 字段 ， 可 以 将 类 名 映射 
为 表 名 ， 字 上段 名 映射 为 列 名 。 下 面 分 别 使 用 Java Annotation 与 XML 两 种 方式 进行 映射 ， 读 
者 可 以 比较 一 下 这 两 种 方式 的 区 别 。 


通过 Java Annotation 映射 元 数据 ， 如 代码 清单 5-5 所 示 。 
【代码 清单 5-5]】 





@ Entity 
€ Table( name = " Product" , schema = " JPA, PRODUCTS" ) 


public class Product 


| 
@ Id 
@ GeneratedValue( strategy = GenerationType. TABLE) 
long id ; 


@ Basic 
@ Column( name = " PRODUCT NAME" , length = 100) 


String name = null ; 


(? Basic 
@ Column( length 2255) 


String description = null ; 
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通过 XML 映射 元 数据 ， 如 代码 清单 
【代码 清单 5-6]】 


5-6 所 示 。 


<? xml version 2"1. 0" encoding =" UTF - 8" ?> 


< entity — mappings xmlns = " http ://java. sun. com/xml/ns/persistence/orm" 


Xmlns : xsi 


" http://www. w3. org/2001/XMLSchema - instance" 


xsi : schemaLocation = " http ://java. sun. com/xml/ns/ persistence/orm http ://java. sun. com/xml/ 


ns/ persistence/orm, 1. 0. xsd" 
version 2 "1. 0" > 
< description > < /description > 


< package > </package > 


< entity class = " Product" name = " Product" > 


< table name = "JPA. PRODUCTS" /> 


< attributes > 
<id name = " id" > 


< generated — value strategy = "TABLE" / > 


«/id» 


< basic name = " name" 


> 


< column name = " PRODUCT_NAME" length = "100"/ > 


« / basic > 


< basic name = " description" > 


< column length = "255"/ > 


« / basic » 
< / attributes > 
« /entity > 


« /entity ~ mappings > 


2， 统 一 标准 的 数据 库 编程 接口 








即便 是 传统 的 关系 型 数据 库 ， 也 存在 不 同 数据 库 之 间 编 程 接口 不 统一 和 SQL 标准 不 一 


致 的 情况 。 





JPA 提供 统一 的 数据 库 编 程 接 口 标准 来 操作 实体 对 象 ， 执 行 查询 、 插 入 、 更 新 、 删 除 等 
操作 ， 而 具体 的 ORM 框架 则 根据 所 选 定 的 数据 库 生 成 最 终 的 SQL 语句 ， 帮 助 用 户 完 成 与 数 
据 库 的 交互 ， 从 而 可 以 将 开发 者 从 繁琐 的 SQL 代码 中 解脱 出 来 。 

以 笔者 的 经 验 ，JPA 能 很 好 地 解决 90% 的 数据 库 操作 。 但 在 某 些 特 定 情 况 下 ， 比 如 处 








理 大 数据 量 、 





提高 特定 操作 速度 等 工作 ， 














由 于 JPA 提供 了 统一 的 接口 ， 对 于 特殊 数据 库 的 


优化 工作 就 得 由 开发 人 员 自 己 完 成 。 在 开发 应 用 时 ， 开 发 人 员 要 注意 这 些 特殊 的 情况 ， 根 据 


需要 进行 优化 。 
(1) JPA 操作 GAE 数据 存储 区 
GAE Java SDK 包含 针对 其 数据 存储 
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区 的 JPA 1.0 的 实现 。Google 公司 并 没有 自己 实现 
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JPA， 而 是 使 用 了 由 DataNucleus 提供 的 解决 方案 。 

DataNucleus 的 JPA 解决 方案 有 一 个 比较 特殊 的 地 方 ， 即 需要 映射 到 数据 库 的 类 ， 以 便 
使 用 DataNucleus 的 工具 对 映射 类 再 次 编译 。 而 GAE Eclipse 插件 替 我 们 做 了 这 件 事 。 

当 保 存 对 映射 类 的 修改 时 ，GAE Eclipse 插件 会 自动 进行 编译 ， 并 输出 如 代码 清单 5-7 
所 示 的 信息 。 

【代码 清单 5-7】 











DataNucleus Enhancer ( version 1. 1. 4) : Enhancement of classes 
DataNucleus Enhancer completed with success for 1 classes. Timings : input = 1226 ms, enhance = 366 


ms, total 2 1592 ms. Consult the log for full details 


(2) JPA 操作 HBase 

目前 ， 只 有 DataNucleus 提供 针对 HBase 的 JPA 实现 ， 而 且 还 提供 了 针对 HBase 的 
Eclipse 插件 。 

与 GAE 的 实现 类 似 ， 用 户 同 样 需要 编译 映射 类 ， 通 过 命令 编译 映射 类 如 代码 清单 5-8 
所 示 。 

【代码 清单 5-8】 











Java — cp classpath org. datanucleus. enhancer. DataNucleusEnhancer class — files 


或 者 使 用 DataNucleus Eclipse 插件 也 可 以 实现 。 右 击 新 建 的 项 目 一 DataNucleus 一 Run En- 
hancer Tool ， 如 图 5-3 所 示 。 





DataNucleus Enable Auto-Enhancement 
Java EE Tools 
Google 
Android Tools 
Configure 


Run Enhancer Tool 
Run Schema Tool 


Create persistence.xm| for project 


Y v *" v|v 


TES Remove DataNucleus Support 
图 5-3 使 用 Eclipse 编译 映射 类 


所 有 需要 的 JPA 实现 库 都 可 以 从 http: //www. datanucleus. org/ 下 载 。 

本 书 需 要 使 用 datanucleus - accessplatform - hbase -3.0.0 一 m2. zip 以 及 Eclipse 插件 ， 下 
载 地 址 http: //www. datanucleus. org/downloads/eclipse — update/ 。 

(3) JPA 操作 AWS SimpleDB 

AWS SimpleDB 使 用 SimpleJPA 作为 JPA 实现 方案 。 可 从 http: //code. google. com/p/ 
simplejpa/ 下 载 。 

与 DataNucleus 的 方案 相 比 ，SimpleJPA 不 需要 再 次 编译 映射 类 。 除 配置 的 库 文件 不 同 
外 ， 它 的 用 法 也 遵循 JPA 规范 。 当 用 户 需 要 将 在 DataNucleus 下 运行 的 JPA 程序 迁移 到 AWS 
SimpleDB 时 ,一 般 只 需要 根据 新 的 配置 环境 稍微 修改 代码 ， 在 新 环境 中 重新 编译 即 可 。 

由 于 JPA 提供 一 个 标准 接口 和 关系 型 数据 库 交 互 ， 而 App Engine 数据 存储 区 、HBase 
FI AWS SimpleDB 并 非 传统 关系 数据 库 ， 它 们 的 有 些 功 能 暂时 还 不 支持 JPA 使 用 。 当 碰 到 
JPA 无 法 满足 需要 时 ， 用 户 就 要 使 用 这 些 数据 库 自 带 的 编程 接口 来 开发 程序 。 本 书 将 以 
HBase 和 GAE 数据 存储 区 为 例 进 行 介绍 。 
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5.2.3. 各 公共 服务 提供 商 所 提供 的 服务 不 同 
从 现在 云 计算 提供 商 提 供 的 服务 来 看 ， 其 提供 的 服务 并 不 完全 相同 。 在 一 段 时 间 内 ， 有 
可 能 开发 人 员 面 临 无 法 从 同一 个 云 计 算 提供 商 处 获得 所 需 的 所 有 服务 。 表 5-2 对 不 同 云 计 
算 提供 商 的 服务 进行 了 简单 比较 。 
表 5-2 云 计算 提 供 商 提供 的 服务 比较 























































































































GAE AWS 私有 云 环 境 

主机 服务 沙 盒 式 虚 拟 主机 虚拟 机 可 选择 特定 的 虚拟 化 技术 
Non - SQL 支持 支持 通过 HBase 等 数据 库 支 持 
关系 数据 库 不 支持 支持 可 选择 安装 特定 的 数据 库 
负载 均衡 支持 支持 通过 Apache HTTPD 等 软件 
账户 服务 可 使 用 Google 账户 须 自行 开发 须 自 行 开 发 

|t 支持 支持 通过 与 邮件 服务 器 集成 支持 
网 址 抓 取 支持 可 安装 第 三 方 网 址 抓 取 工具 可 安装 第 三 方 网 址 抓 取 工具 
大 文件 存储 不 支持 支持 可 安装 HDFS 等 文件 系统 

费用 每 月 提供 免费 配额 部 分 服务 提供 免费 配额 自行 管理 ， 费 用 取决 于 实际 配置 
通过 表 5-2 可 以 看 出 ， 现 有 云 计算 提供 商 所 提供 的 服务 都 有 各 目的 特点 。GAE 偏向 于 














传统 IDC 提供 商 的 虚拟 主机 服务 ，AWS 则 偏向 于 VPS 服务 ， 而 私有 云 环 境 可 以 根据 用 户 的 
需要 进行 搭建 ， 更 加 灵活 ,但 需要 更 多 的 专业 知识 与 维护 工作 。 

从 使 用 上 来 说 ， 很 难说 谁 更 省 钱 。 因 为 私有 云 环境 通常 是 建立 在 现 有 计算 环境 之 上 的 ， 
增加 新 的 云 计算 环境 所 花费 的 费用 取决 于 之 前 系统 的 配置 。 而 公共 云 计算 平台 在 免费 配额 之 
外 ， 是 需要 付费 的 ， 付 费 多 少 则 取决 于 实际 使 用 情况 。 

如 何 花 最 少 的 钱 而 得 到 最 多 的 服务 ， 并 且 不 依赖 某 个 特定 提供 商 的 产品 是 一 个 要 认真 对 


待 的 问题 。 











5.3 基于 云 计算 平台 的 文件 共享 系统 需求 分 析 











随 着 信息 技术 的 高 速 发 展 ， 人 们 越 来 越 多 地 使 用 计算 机 进行 日 常 办 公 。 越 来 越 多 的 文件 
从 纸张 变 成 了 存储 在 计算 机 中 的 数据 。 而 这 些 数 据 随 着 时 间 的 积累 ， 不 但 数量 与 规模 在 不 断 
增长 ， 同 时 也 有 越 来 越 多 的 业务 需要 随时 使 用 这 些 文 件 。 

存储 、 管 理 以 及 随时 读 取 需要 的 文件 是 很 多 现代 企业 的 基本 要 求 。 利 用 云 计 算 技术 ， 用 
户 可 以 根据 所 存储 的 数据 量 大 小 ， 按 实际 使 用 给 资源 提供 商 付费 。 

与 传统 文件 共享 系统 相 比 ， 基 于 云 计 算 平台 的 文件 系统 在 存储 空间 、 管 理 系统 、 文 件 读 
取 等 方面 都 有 无 可 比拟 的 优点 。 具 体 对 比 情况 见 表 5-3。 

表 5-3 基于 云 计算 平台 的 文件 共享 系统 与 传统 文件 共享 系统 对 比 

传统 文件 共享 系统 基于 云 计算 平台 的 文件 共享 系统 
存储 空间 需要 购买 较 大 的 磁盘 可 租用 或 免费 使 用 云 文件 存储 系统 
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( 续 ) 
传统 文件 共享 系统 基于 云 计 算 平台 的 文件 共享 系统 
管理 系统 需要 购买 或 租用 专门 的 主机 运行 管理 系统 不 需要 专门 租用 或 购买 主机 
文件 读 取 如 需 在 因特网 读 取 ， 需 购买 域名 或 租用 IP 始终 都 在 因特网 上 存储 与 读 取 


























综 上 所 述 ， 基 于 云 计算 平台 的 文件 共享 系统 是 对 现 有 文件 共享 平台 的 良好 补充 ， 它 具有 
易于 扩充 存储 资源 、 按 需 付 费 (或 免费 使 用 ) 的 特点 。 

考虑 到 云 计算 平台 之 间 的 不 兼容 性 与 平台 使 用 费用 等 问题 ， 本 章 所 要 实现 的 基于 云 计 算 
的 文件 共享 系统 将 能 够 兼容 尽 可 能 多 的 云 计算 平台 。 


5.4 基于 云 计算 平台 的 文件 共享 系统 设计 


为 了 满足 系统 的 需求 ， 我 们 将 从 系统 架构 、 平 台 选 择 、 系 统 功能 几 个 方面 分 析 设 计 该 
系统 。 


5.4.1. 系统 架构 


用 户 通过 浏览 器 访问 文件 共享 系统 。 该 系统 将 文件 存储 在 云 计算 平台 (以 下 简称 为 云 
平台 ) 的 文件 系统 中 ,文件 及 用 户 信息 存储 在 云 平 台数 据 库 中 ， 如 图 5-4 所 示 。 











便携 式 计算 机 













—— 
便携 式 计算 机 






便携式 计算 机 
图 5-4 基于 云 计 算 平 台 的 文件 共享 系统 物理 结构 

由 图 5-4 可 以 看 出 ， 与 传统 系统 类 似 ， 云 计算 依然 需要 主机 运行 应 用 程序 并 通过 数据 
存储 服务 器 来 保存 数据 。 两 者 最 大 的 不 同 在 于 使 用 的 技术 ， 而 非 系统 架构 本 身 。 


5.4.2 平台 及 技术 选择 


用 户 使 用 浏览 器 通过 Http 协议 访问 Web 服务 器 ，Web 服务 器 访问 数据 库 获取 用 户 及 文 
件 信 息 ， 使 用 AWS S3 或 HDFS 存储 文件 。 

现在 的 公有 云 与 私有 云 系统 都 可 以 支持 Java EE。 故 本 系统 也 采用 Java EE 技术 实现 系 
统管 理 及 使 用 界面 。 通 过 使 用 JPA， 可 以 使 代码 有 统一 的 数据 库 编 程 方式 。 这 样 不 仅 可 以 使 
用 云 数据 库 ， 也 可 以 方便 地 迁移 到 传统 关系 型 数据 库 上 。 

对 于 文件 存储 系统 ， 需 要 设计 一 个 公共 的 文件 系统 来 访问 API。 该 API 需要 能 够 扩展 实 
现 ， 为 访问 AWS S3, HDFS 等 文件 系统 提供 统一 的 编程 接口 ， 如 图 5-5 所 示 。 
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Java EE 容器 
Servlet 


浏览 器 











图 5-5 平台 及 技术 选择 





5.4.3 系统 功能 


1. 用 户 管理 模块 

对 于 分 布 式 文件 系统 来 说 ， 用 户 并 不 是 必须 要 通过 用 户 名 和 密码 才能 登录 的 ， 比 如 
HDFS 就 只 能 使 用 登录 到 Named Node 所 运行 的 计算 机 ， 并 通过 操作 系统 用 户 来 使 用 HDFS。 
因此 额外 的 用 户 管理 模块 ， 将 更 有 利于 文件 资源 的 管理 与 共享 。 

另外 ， 现 有 的 云 计算 平台 并 不 都 像 GAE 那样 提供 用 户 管理 服务 。 当 应 用 有 可 能 在 多 种 
云 计算 系 统 上 运行 时 ， 就 需要 独立 的 用 户 管理 模块 。 所 以 要 提供 统一 的 系统 登录 界面 ， 如 图 
5-6 所 示 。 

2. 文件 管理 模块 

作为 文件 共享 系统 ， 最 重要 的 就 是 管理 文件 。 本 系统 将 实现 文件 的 简单 上 传 、 下 载 以 及 
浏览 文件 列表 等 功能 ， 如 图 5-7 所 示 。 


























欢迎 使 用 文件 共享 系统 文件 大 小 
katergiang/huashanlogo. gif 1385 
HP kate 1g ]iff 5 
密码 : tergiang/views.module 39288 
Ei) [注册 | CELL.) (upload | 
图 5-6 系统 登录 界面 图 5-7 文件 管理 界面 








5s. 4.4” 非 功能 性 需求 


(1) 该 系统 可 在 多 种 云 平台 上 运行 

对 于 企业 来 说 ， 应 用 程序 在 最 初 有 可 能 只 在 公司 内 部 运行 ， 但 随 着 业务 的 发 展 ， 需 求 的 
改变 ， 应 用 有 可 能 需要 在 因特网 中 运行 ， 故 在 设计 实现 程序 时 需要 兼顾 当前 和 未 来 的 需要 ， 
使 应 用 不 局 限于 某 一 种 特定 的 云 计算 平台 。 

(2) 该 系统 需要 有 一 定 的 安全 性 

不 管 应 用 运行 在 内 部 还 是 外 部 ， 都 需要 考虑 到 安全 性 问题 。 比 如 密码 需要 加 密 存 储 ， 用 
户 只 能 访问 自己 专 有 的 文件 等 。 


[5- 5 基于 云 计算 的 文件 共享 平台 实现 


在 5.4 节 中 ， 我 们 对 文件 共享 系统 进行 了 设计 ， 本 市 将 按照 上 一 节 所 设计 的 模块 以 及 需 
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求 ， 实 现 一 个 基于 云 计算 技术 的 文件 共享 系统 。 首 先 ， 使 用 HBase 5 HDFS 所 搭建 的 私有 云 
计算 平台 来 开发 应 用 。 然 后 通过 GAE 与 AWS SimpleDB 所 搭建 的 公共 云 计 算 平 台 再 次 部 署 
应 用 。 


5.5.1 用 户 管理 模块 实现 


众所周知 ， 当 应 用 程序 需要 在 公 网 被 访问 时 ， 一 定 要 注意 它 的 安全 问题 。 而 提供 一 个 登 
录 界 面 ， 让 有 权限 的 用 户 访问 应 用 程序 则 是 一 种 常见 的 实现 方式 。 

针对 不 同 的 云 计算 平台 ， 可 以 有 不 同 的 选择 。 比 如 在 GAE 中 提供 Google 账户 服务 。 可 
以 使 用 此 类 服务 进行 用 户 验证 (请 参考 4.2.4 节 )。 使 用 已 有 账户 服务 的 好 处 是 ， 用 户 可 以 
使 用 已 有 的 账户 登录 系统 ， 其 认证 的 安全 性 由 服务 提供 者 保证 ， 而 且 对 开发 者 来 说 开发 工作 
量 较 小 。 缺 点 在 于 账户 服务 一 般 由 特定 的 云 计算 提 供 商 提供 ， 基 于 账户 服务 开发 的 应 用 很 难 
直接 迁移 到 其 他 云 计 算 平 台中 运行 。 

所 以 需要 使 用 Java EE 技术 并 结合 JPA 开发 一 个 简单 的 用 户 管理 模块 ， 这 个 模块 可 以 较 
容易 地 在 不 同 的 云 计算 平台 上 部 署 。 

1， 用 户 对 象 实现 

该 系统 的 用 户 管理 模块 暂时 只 包含 验证 用 户 的 功能 以 及 一 个 用 户 登 录 界 面 。 故 对 于 用 户 
对 象 我 们 只 需要 用 户 名 及 密码 即 可 。 由 于 使 用 JPA 标准 操作 数据 库 ， 所 以 能 很 方便 地 在 Us- 
er 类 中 定义 ， 如 代码 清单 5-9 所 示 。 

【代码 清单 5-9 】 
























































@ Entity 
public class User | 
@ [d 
private String uname; 


private String upass ; 


| 


在 User 类 中 ， 将 User 映射 为 表 User。 该 表 有 两 列 uname 和 upass, 分 别 用 于 存放 用 户 名 
和 密码 。 

实际 插入 数据 后 ， 结 果 如 代码 清单 5-10 所 示 。 

【代码 清单 5-10】 

















hbase( main) :032 :0 > scar Uset 


ROW COLUMN + CELL 

VxAC V xED V x00 V x05t V x00 V xOBskaterqiang column = User; uname, timestamp = 
1307435288100, value = skaterqiang 

\xAC \ xED V x00 \ x05t V x00 V xOBskaterqiang column = User: upass, timestamp = 


1307435288100, value = 1ce21a237fdfccd01988298467226023954fbca20 
1 row(s) in 0. 3020 seconds 
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2.， 用户 密 码 加 密 存储 

上 面 的 代码 中 使 用 了 HBase 的 Scan 命令 ， 从 查询 的 结果 可 以 看 到 用 户 名 与 密码 信息 。 
但 查询 出 的 密码 值 并 不 是 真正 的 用 户 密码 ， 而 是 经 过 加 密 后 的 密码 。 这 样 做 的 好 处 是 ， 当 其 
他 用 户 获得 了 数据 库 中 的 数据 时 ， 他 依然 不 知道 用 户 的 密码 是 多 少 ， 从 而 保证 了 用 户 密码 的 
安全 性 。 

常见 的 加 密 算法 有 MD4，MD5，AES，DES，SHA，HMAC 等 。 其 中 MD4，MD5 等 Hash 
算法 已 被 破解 ， 论文 名 是 Collisions for Hash Functions - MD4 , HAVAL - 128 and RIPEMD, 

本 节 将 介绍 如 何 使 用 Java 语言 自 带 的 SHA 算法 进行 加 密 。 

(1) SHA 

安全 散 列 算法 (Secure Hash Algorithm, SHA), 确切 地 说 它 并 不 是 数据 加 密 算 法 ， 而 是 
数据 数字 签名 算法 。 它 并 不 是 为 整个 数据 进行 加 密 ， 而 是 对 数据 提取 部 分 信息 进行 签名 。 采 
用 该 算法 对 不 同 的 数据 进行 加 密 ， 会 得 到 一 个 唯一 的 字符 串 ， 该 字符 串 就 像 签 名 一 样 ， 只 有 
该 数据 才 可 能 产生 这 样 的 签名 字符 串 。 

相对 于 MD5 MA, SHA 仍然 是 公认 的 安全 加 密 算法 ， 较 MD5 更 为 安全 。 

我 们 可 以 使 用 SHA 对 用 户 密码 进行 签名 ， 并 将 签名 值 保 存在 数据 库 中 。 

当 用 户 登 录 时 ， 我 们 再 次 使 用 SHA 算法 对 密码 进行 签名 ， 同 时 与 数据 库 中 的 密码 进行 
对 比 ， 如 果 相 同 就 说 明 用 户 登 录 时 所 使 用 的 密码 是 正确 的 ， 如 图 5-8 所 示 。 
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使 用 SHA 对 密码 加 密 ， 并 存储 到 数据 库 中 





















































使 用 SHA 加 密 用 户 当 前 输入 的 密码 ， 并 与 
数据 库 中 的 密码 比 对 
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图 $-8 使 用 SHA 算法 验证 用 户 登 录 

















Java 提供 了 SHA 算法 的 实现 (package com. cloud. skater. util; ) ， 我 们 可 以 使 用 该 算法 编 
写 加 密 工 具 类 ， 如 代码 清单 5-11 所 示 。 
【代码 清单 5-11]】 


publie class Encrypt | 

private static final String KEY SHA 2 "SHA" ; 

private static final Logger log = Logger 

. getLogger( Encrypt. class. getName( ) ) ; 

public static String encryptSHA ( String data) throws Exception | 
MessageDigest sha = MessageDigest. getInstance( KEY, SHA) ; 
sha. update( data. getBytes( ) ) ; 
return byteArrayToHexString( sha. digest( ) ) ; 

} 

// 将 字 节 数组 转换 为 十 六 进 制 字符 串 
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private static String byteArrayToHexString( byte[ | bytearray ) | 
String strDigest 2 " " ; 
for (int i 20; i « bytearray. length; i++ ) | 
strDigest += byteToHexString( bytearray[ i] ) ; 
} 


return strDigest; 


// 将 字 节 转换 为 十 六 进 制 字 符 串 
private static String byteToHexString( byte ib) | 
char ANDi riea RO NC NEUES LC QUT OEC NEL RO NE E 
Wc ed ses apr 
char[ ] ob = new char[2.] ; 
ob[ 0] = Digit[ (ib > > »4)& OXOF]; 
ob[ 1] = Digit ib & OXOF] ; 
String s = new String( ob) ; 





return s; 





经 过 上 面 的 步骤 我 们 已 经 可 以 加 密 存 储 数 据 ， 下 面 需要 将 数据 写 入 到 数据 库 中 以 备 
查询 。 

(2) 配置 数据 源 

配置 Hibernate DataNucleus JPA 接口 ， 首 先 配置 persistence. xml， 该 文件 最 后 将 部 署 在 
war/WEB -INF/classes/META -INIV 目 录 下 。 内 容 如 代码 清单 5-12 所 示 。 

【代码 清单 5-12]】 











<? xml version 2"1. 0" encoding =" UTF - 8" ?> 

< persistence xmlns = " http ;//java. sun. com/xml/ns/ persistence" 
xmlns :xsi = " http://www. w3. org/2001/XMLSchema - instance" 
xsi : schemaLocation = " http ://java. sun. com/xml/ns/ persistence 


http ;//java. sun. com/xml/ns/ persistence/persistence 1. 0. xsd" version = " 1. 0" > 


< persistence — unit name = " hbase - filesharesys" transaction — type = " RESOURCE LOCAL" > 
« class > com. cloud. skater. dao. User < /class > 
< properties > 
< property name = " datanucleus. ConnectionURL" value = " hbase" / > 
< property name = " datanucleus. ConnectionUserName" value 2 ""/ > 
< property name =" datanucleus. ConnectionPassword" value 2""/ > 
< property name = " datanucleus. autoCreateSchema" value = " true" / > 


< property name = " datanucleus. validateTables" value = " false" / > 
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< property name ="datanucleus. Optimistic" value = " false" / > 
< property name = " datanucleus. validateConstraints" value = " false" / > 
< / properties > 
< / persistence — unit > 


< / persistence > 


除 此 之 外 ， 我 们 依然 需要 将 包含 HBase 服务 器 信息 的 hbase - site. xml. 部 署 在 war/ WEB - 
INF/classes/ 目 录 下 (参见 第 3 章 HBase 配置 ) 。 

(3) 获取 数据 库 操 作对 象 

配置 好 HBase JPA 接口 后 ， 就 可 以 通过 Persistence. createEntityManagerFactory ( " hbase — 
filesharesys" ) 来 获得 数据 库 操作 对 象 ." hbase - filesharesys" 定义 在 persistence. xml 文件 中 。 我 
们 使 用 单 态 (Singleton). 模式 获取 数据 库 操 作对 象 。 该 模式 的 主要 作用 是 保证 在 Java 应 用 程序 
中 ， 一 个 类 只 有 一 个 实例 存在 。 针 对 数据 库 的 操作 ， 一 般 有 一 个 操作 对 象 就 可 以 满足 要 求 。 使 
用 单 态 模式 的 好 处 还 在 于 节省 内 存 与 时 间 。 只 有 第 一 次 初始 化 数据 库 实例 对 象 时 花费 较 长 的 时 
IR], 并且 只 占用 一 个 实例 的 内 存 ; 其 他 时 候 都 使 用 已 经 初始 化 好 的 数据 库 操 作对 象 ， 如 代码 清 
单 5-13 所 示 。 

【代码 清单 5-13】 




















public final class EMF | 


private final static EntityManagerFactory emfInstance = Persistence. createEntityManagerFactory 
( " hbase - filesharesys" ) ; 
public static synchronized EntityManagerFactory getInstance( ) | 


return emfInstance ; 


| 


(4) 写 和 人 数据 
通过 EMF. getInstance( ). createEntityManager( ) 创建 完 数据 库 操作 对 象 后 ， 就 可 以 将 映射 
的 数据 库 对 象 写 人 到 数据 库 中 。 如 代码 清单 S-14 所 示 ， 获 得 User 对 象 的 加 密 密 码 并 将 该 对 
象 写 入 到 数据 库 中 。 

【代码 清单 5-14】 











public boolean createUser( User user) | 
if ( userExist( user) ! null) | 
return true; 
} 
try | 
user. setUpass( Encrypt. encryptSHA ( user. getUpass( ) ) ) ; 
} catch ( Exception e) | 
log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 
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EntityManager em = EMF. getInstance( ). createEntityManager( ) ; 
EntityTransaction tx = em. getTransaction( ) ; 
try | 

tx. begin( ) ; 
em. persist( user) ; 
tx. commit( ) ; 
} finally | 
if (tx. isActive( ) ) | 
tx. rollback ( ) ; 
} 
em. close( ) ; 


| 


return true; 


关于 如 何 从 数据 库 中 获得 User 对 象 查询 等 操作 ， 参 见 光盘 中 sample5 V FileSharingSystem 
V src \ com \ cloud \ skater V UserLogin. java, 

下 面 的 工作 就 是 利用 之 前 开发 的 工具 ， 使 用 Java EE 技术 制作 用 户 登 录 界 面 。 

在 这 里 再 次 用 到 了 第 1 章 提 到 过 的 MVC 模式 ， 数 据 存储 ( Model)， 用 户 登 录 页 面 
(View) 和 Servlet ( Controller) 。 

控制 器 Servlet 的 代码 如 代码 清单 5-15 所 示 。 

【代码 清单 5-15】 











public class UserServlet extends HttpServlet | 
private static final long serialVersionUID = 1L; 


private UserLogin login 2 new UserLogin( ) ; 


publie void doGet( HttpServletRequest request, HttpServletResponse response ) 
throws ServletException, IOException | 


this. doPost( request, response) ; 


publie void doPost( HttpServletRequest request, HttpServletResponse response ) 
throws ServletException, IOException | 
request. setCharacterEncoding( " gb2312" ) ; 


String submit = request. getParameter( " submit" ) ; 
8 q 8 


if (submit !null && submit. equals( " 登录 " ) ) | 
String uname = request. getParameter( " uname" ) ; 
String upass = request. getParameter( " upass" ) ; 


User user = new User( ) ; 
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user. setUname( uname ) ; 
user. setUpass( upass ) ; 
HttpSession session = request. getSession true ) ; 
if ( login. login( user) ) | 
session. setAttribute( " user" , user) ; 
GetFileList. getFileList( uname, session) ; 
request. getRequestDispatcher( " FileManageMent. jsp" ). forward( request , response ) ; 
return ; 
| 
session. setAttribute( " user" , null) ; 
request. getRequestDispatcher( " login. jsp" ). forward( request , response ) ; 
| 
if (submit !null && submit. equals(" 注册" ) ) | 
String uname = request. getParameter( " uname" ) ; 
String upass = request. getParameter( " upass" ) ; 
User user = new User( ) ; 
user. setUname( uname) ; 
user. setUpass( upass ) ; 
if ( login. createUser( user) ) | 


request. getRequestDispatcher( " login. jsp" ). forward( request , response) ; 


登录 页 面 代码 如 代码 清单 5-16 所 示 。 
【代码 清单 5-16 】 


< % @ page language = " java" contentType = " text/html ; charset = gb2312" 96 > 
<%@ page import = " com. cloud. skater. dao. User" 96 > 
< html > 

< head > 

« title > Login. jsp < /title > 

« / head » 

« body style 2 " text — align: center" » 

< Wif( session. getAttribute( " user" ) == null) |% > 


«form action = " UserServlet" method = " post" > 











« table > 
«tr» 
« h5 > 欢迎 使 用 文件 共享 系统 </h5 > 
</tr> 
«t» 
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<td > 用户 名 </td > 
<td > < input type = " text" name ="uname"/ > </td> 
</tr> 
<tr> 
<td > 2555. </td > 


<td > < input type = " password" name = " upass" > </td > 


</tr> 
«tir» 
<td> 
< input type = " submit" name = " submit" value =" 登 录 "/ > 
< input type = " submit" name = " submit" value =" 注 册 "/ > 
</td> 
</tr> 
« /table > 


«/form » 
<% lelse| % > 
< 96 = ( ( User) session. getAttribute( " user" ) ). getUname( ) 96 > 已 登录 « a href =" logoutServ- 
let" > 退出 登录 </a> 


<% | 96» 
« / body » 
« / html > 


5.5.2. 文件 管理 模块 实现 


云 计算 环境 中 提供 了 多 种 文件 管理 系统 ， 包 括 HDFS 和 AWS S3 等 。 这 些 文件 系统 都 有 
各 自 的 特点 ， 并 且 它 们 提供 的 编程 接口 也 有 很 大 的 区 别 。 

对 文件 的 操作 一 般 有 创建 、 删 除 、 复 制 、 下 载 等 。 

为 了 便于 日 后 迁移 系统 ， 我 们 需要 设计 一 个 公共 文件 系统 访问 框架 。 

针对 这 个 问题 ， 必 须 提 供 一 个 统一 的 文件 管理 接口 FileManager， 在 本 书 中 将 针对 AWS 
S3 文件 系统 与 HDFS 文件 系统 分 别 实现 AWSS3FileManager 与 HDFSFileManager， 并 使 用 工厂 
模式 根据 所 需 使 用 的 文件 系统 类 型 选择 具体 的 实现 ， 如 图 5-9 所 示 。 














FileSysFactory 





<<interface>> 
FileManager 


FileSysType 








图 5-9 公共 文件 系统 访问 框架 
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(1) FileManager 接口 代码 
FileManager 接口 代码 如 代码 清单 5-17 所 示 。 
【代码 清单 5-17]】 





public interface FileManager | 
publie void ereateDirForUser( String dirName) throws FileException ; 
publie boolean isDirExistForUser( String uname ) throws FileException ; 
public void deleteFile( String directory Name , String fileName) throws FileException ; 
publie void getFile( String userName, String remoteFileName, String localFileName) throws FileEx- 
ception; 
public void putFile ( String directoryName, String remoteFileName, String localFileName ) throws 
FileException; 
publie List < CFile > listFileForUser( String uname, String filePrefix ) throws FileException ; 
publie void putFile( InputStream input, String userName, String remoteFileName) throws FileExcep- 
tion; 
publie DataInputStream getFile( String remoteFileName) throws FileException ; 


| 


(2) 统一 文件 对 象 

由 于 各 个 文件 系统 返回 的 文件 对 象 不 一 致 ， 所 以 需要 根据 用 户 自 己 的 要 求 建立 统一 的 文 
件 类 。 对 于 本 系统 ， 目 前 只 关心 文件 名 与 大 小 。 统 一 文件 类 的 代码 如 代码 清单 5-18 所 示 。 

【 代码 清单 5-18]】 


public class CFile | 

private String name; 

private long size; 

public String getName( ) | 
return name; 

} 

public void setName( String name) | 
this. name = name; 

} 

public long getSize( ) | 
return size; 

} 

public void setSize( long size) | 


this. size — size; 


| 


(3) 根据 文件 系统 类 型 ， 选 择 具 体 的 文件 系统 实现 

注意 在 该 代码 中 ， 我 们 同样 使 用 了 单 态 模式 ， 但 并 不 是 在 JVM 加 载 类 的 时 候 进行 实例 
化 ， 而 是 在 getInstance 时 初始 化 。 原 因 很 简单 ， 在 具体 的 云 计 算 环 境 中 ， 一 般 只 存在 一 种 文 
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件 系 统 ，HDFS 与 AWS S3 很 难 共存 。 在 这 样 的 情况 下 ， 就 没有 必要 每 一 种 文件 系统 都 实例 





化 ， 而 是 要 根据 具体 情况 来 初始 化 文件 系统 。 





同时 要 在 getInstance 方法 后 加 synchronized 关键 字 。 因 为 可 能 有 好 几 个 Servlet 线程 同 




















时 调用 getInstance 方法 。 如 果 不 对 getInstance 方法 加 锁 ， 


ager 对 象 。 如 代码 清单 5-19 所 示 。 
【代码 清单 5-19】 


public class FileSysFactory | 


private static FileManager instance AWSS3 = null; 


private static FileManager instanceApacheHDFS = null; 


则 有 可 能 实例 化 出 多 个 FileMan- 


private final static FileManager instanceNormalFileSys = null ; 


publie static synchronized FileManager getInstance( FileSysType fileSysType) throws FileException | 


switch (fileSysType) | 
case AWSS3; 
if ( instanceAWSS3 == null) | 


instanceAWSS3 = new AWSS3FileManager( ) ; 


} 
return instanceAWSS3 ; 
case HDFS : 
if (instanceApacheHDFS == null) | 


instanceApacheHDFS = new HDFSFileManager( ) ; 


| 
return instanceApacheHDFS; 


case NormalFileSys : 


throw new FileException(" 暂时 不 支持 " + fileSysType. name( ) ) ; 


| 


return null; 


先 将 文件 管理 模块 与 HDFS 集成 ，HDFS 文件 系统 初始 化 的 代码 如 代码 清单 5-20 所 示 。 


【代码 清单 5-20 】 


publie class HDFSFileManager implements FileManager | 


private final static String root. path = " /filesharesystem/" ; 


private static FileSystem fs = null; 


private static final Logger log = Logger. getLogger( HDFSFileManager. class. getName( ) ) ; 


publie HDFSFileManager( ) | 
if (fs == null) | 
try | 


Configuration conf 2 new Configuration( true) ; 
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conf. set( "fs. default. name" , " hdfs;//192. 168. 199. 128 :9000" ) ; 
fs = FileSystem. get( conf) ; 

} catch ( IOException e) | 
log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 


| 


(4) 上 传 文件 

该 共享 系统 要 求 每 个 用 户 只 能 访问 属于 自己 的 文件 。 因 此 在 HDFS 根 目 录 下 建立 一 
filesharesystem 文件 夹 ， 每 个 新 用 户 都 将 在 该 文件 夹 下 建立 以 自身 用 户 名 命名 的 专属 文件 夹 。 

使 用 如 下 命令 建立 filesharesystem 文件 夹 。 














root? skatertest#bin/ hadoop fs — mkdir /filesharesystem 





为 用 户 创 建 专 有 文件 夹 ， 如 代码 清单 5-21 所 示 。 
[ 87$ 8 5-21] 


@ Override 
public void createDirForUser( String dirName) throws FileException | 


try | 
Path f 2 new Path( root, path) ; 
fs. mkdirs( new Path(f, dirName) ) ; 


} catch (IOException e) | 


throw new FileException( e) ; 


| 


检查 用 户 文件 夹 是 否 已 存在 ， 如 代码 清单 5-22 所 示 。 
【代码 清单 5-22】 








@ Override 
public boolean isDirExistForUser( String uname) throws FileException | 
Path f = new Path( root, path + uname) ; 
try | 
return fs. exists(f) ; 
} catch ( IOException e) | 


throw new FileException( e) ; 
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通过 Tomcat 上 传 文件 有 两 种 方式 ， 一 种 方式 是 将 文件 先 上 传 到 Tomcat 所 在 的 服务 器 。 
另 一 种 方式 是 通过 数据 流 ， 直 接 将 文件 上 传 到 最 终 的 文件 系统 中 。 这 里 选择 后 者 ， 如 代码 清 
单 5-23 所 示 。 

【代码 清单 5-23】 























@ Override 

public void putFile( InputStream input, String userName, String remoteFileName) throws FileException | 
final int taskSize = 1024; 
BufferedInputStream istream = null ; 


DataOutputStream ostream = null ; 


try | 
istream = new BufferedInputStream( input ) ; 


ostream = fs. create( new Path( " /filesharesystem/" + userName + "/" + remoteFileName) ) ; 


int bytes ; 
byte[ ] buffer = new byte[ taskSize | ; 


while ( (bytes = istream. read( buffer) ) > 20) | 


ostream. write( buffer, 0, bytes) ; 


} catch ( Exception e) | 
throw new FileException( e) ; 
} finally | 
try | 
if (istream !null) 
istream. close( ) ; 
} catch ( IOException e) | 
log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 
} 
try | 
if (ostream !null) 
ostream. close( ) ; 
} catch (IOException e) | 
log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 


将 文件 上 传 到 服务 器 的 代码 如 代码 清单 5-24 所 示 。 
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【代码 清单 5-24 】 


publie void doPost( HttpServletRequest request，HttpServletResponse response ) 


throws IOException, ServletException 


try | 
FileManager fileMgr = FileSysFactory. getInstance( FileSysType. HDFS) ; 
HttpSession session = request. getSession( true) ; 
User user = ( User) session. getAttribute( " user" ) ; 
DiskFileUpload fu 2 new DiskFileUpload( ) ; 
// 设置 最 大 文件 大 小 ,这 里 是 4MB 
fu. setSizeMax( 4194304 ) ; 
// 设置 缓冲 区 大 小 ,这 里 是 AKB 
fu. setSizeThreshold (4096) ; 






































// 得 到 所 有 的 文件 
List fileItems = fu. parseRequest( request ) ; 
Iterator i = fileltems. iterator( ) ; 
// 依次 处 理 每 一 个 文件 
while( i. hasNext( ) ) | 
Fileltem fi = ( FileItem) i. next( ) ; 
// 获得 文件 名 ,这 个 文件 名 包括 路 径 
String fifileName = fi. getName( ) ; 
if( fifileName ! null) | 
// 在 这 里 可 以 记录 用 户 和 文件 信息 
vere 
// 写 人 文件 a txt, 也 可 以 从 fileName 中 提取 文件 名 
fileMgr. putFile( fi. getInputStream( ) , user. getUname( ) fifileName) ; 








| 


GetFileList. getFileList( user. getUname( ) , session) ; 
// 跳 转 到 上 传 成 功 提 示 页 面 


request. getRequestDispatcher( " FileManageMent. jsp" ). forward ( request, response ) ; 


调用 服务 器 上 传 文件 的 JSP 代码 如 代码 清单 5-25 所 示 。 
【代码 清单 5-25 】 


< form action = " FileUploadServlet" method = " post" enctype = " multipart/form — data" name = 
"forml" > 


< input type = "file" name = " file" > 
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< input type = " submit" name = " Submit" value = " upload" > 


< /form > 


(5) 下 载 文件 
通过 Tomcat 下 载 文 件 也 有 两 种 方式 ， 一 种 方式 是 将 文件 先 下 载 到 Tomcat 所 在 的 服务 
器 。 另 一 种 方式 是 通过 数据 流 直接 获取 文件 ， 再 通过 数据 流传 递 给 客户 端 。 这 里 选择 后 者 ， 
如 代码 清单 5-26 所 示 。 

【代码 清单 5-26 】 


























@ Override 
public DataInputStream getFile( String remoteFileName ) throws FileException | 
try | 
return fs. open( new Path( remoteFileName ) ) ; 
| catch (IOException e) | 


throw new FileException( e) ; 


| 
使 用 数据 流下 载 文件 有 一 个 小 技巧 ， 即 设置 Http 返回 消息 头 ， 其 代码 如 下 。 


res. setHeader( " Content - disposition" , " attachment; filename = " + fileName) ; 








AMEEN m, XXE PRE, HRASSRBUSCPUUMVESISÓ 5-27 所 示 。 
【代码 清单 5-27 】 


publie void doGet( HttpServletRequest req, HttpServletResponse res ) 
throws ServletException, IOException | 
// 服务 器 相对 路 径 


String path = req. getParameter( " path" ) ; 


// 读 取 文 件 名 :用 于 设置 客户 端 保存 时 指定 默认 文件 名 

int index = path. lastlIndexOf( " /" ) ; // 前 提 : 传 入 的 path 字符 串 以 “/” 表 示 目 录 分 隔 符 
String fileName = path. substring( index + 1) ; 

// 写 流 文件 到 前 端 浏览 

ServletOutputStream out = res. getOutputStream( ) ; 











res. setHeader( " Content — disposition" , " attachment; filename =" + fileName) ; 
BufferedInputStream bis = null ; 
BufferedOutputStream bos = null ; 


try | 
FileManager fileMgr = FileSysFactory. getInstance( FileSysType. HDFS) ; 
bis = new BufferedInputStream( fileMgr. getFile( path) ) ; 
bos 2 new BufferedOutputStream( out ) ; 
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byte[ ] buff = new byte[ 2048 ] ; 


int bytesRead ; 
while ( —1 !(bytesRead = bis. read( buff, O, buff. length) ) ) | 


bos. write( buff, O, bytesRead) ; 
} 


| catch ( FileException e) | 
log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 


| catch ( IOException e) | 
log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 


} finally | 
if (bis !null) 
bis. close( ) ; 
if (bos !null) 


bos. close( ) ; 


| 
JSP 页 面 只 需 加 入 如 下 链接 ， 即 可 让 用 户 单 击 下 载 文件 ， 如 代码 清单 5-28 所 示 。 
【代码 清单 5-28】 





<a href = " FileDownloadServlet? path = < 96 = cfile. getName( ) 96 >" > <% =cfile. getName( )% > 


</a> 


5.5.3 文件 浏览 及 管理 页 面 实现 
通过 文件 浏览 及 管理 页 面 ， 用 户 可 以 很 快 地 找到 所 需 的 文档 ， 并 下 载 。 这 里 使 用 JPA 
统一 接口 查询 数据 。 实 现 如 代码 清单 5-29 所 示 。 

【代码 清单 5-29】 











@ Override 
publie List < CFile > listFileForUser( String uname, String filePrefix ) 


throws FileException | 


List < CFile > result = new ArrayList < CFile > ( ) ; 


if (uname == null) | 


throw new FileException( " listFileForUser , 必须 输入 用 户 名 " ) ; 


| 


try | 
for ( FileStatus fStatus : fs. listStatus( new Path( root, path + uname) ) ) | 


CFile cFile = new CFile( ) ; 
cFile. setName( fStatus. getPath( ). toUri( ). getPath( ) ) ; 


cFile. setSize( fStatus. getLen( ) ) ; 
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result. add( cFile) ; 


} 
| catch ( IOException e) | 


throw new FileException( e) ; 
} 


return result; 





文件 管理 页 面 最 终 的 JSP 代码 如 代码 清单 5-30 所 示 。 
【代码 清单 5-30 】 


< 96 
< 96 
< 96 
< 96 


@ page language = " java" contentType = " text/html ; charset = gb2312" 96 > 
@ page import = " com. cloud. skater. dao. User" 96 > 

@ page import = " java. util. List" % > 

@ page import = " com. cloud. skater. FileManager. impl. CFile" 96 > 


« html > 


cfile. 


< head > 
« title > FileManageMent. jsp « /title > 

« / head » 

< body style = " text — align: center" > 

<! -= 显示 用 户 文件 列表 --> 

<table > 

«tr» 

<td > 文件 名 < /td > 

<td > 文件 大 小 </td > 

</tr> 

«96 List < CFile > fileList = ( List < CFile > ) session. getAttribute( " FileList" ) ; 
for ( CFile cfile : fileList) | 96 > 

«tr» 

<td> <a href =" FileDownloadServlet? path = <% = cfile. getName ( )% >" > <% = 

getName( )% > </a> </td> 

<td> <% = cfile. getSize( )% > </td > 

«/tr» 

<% 

session. removeAttribute ( " FileList" ) ; 

% > 

« /table > 


< form action =" FileUploadServlet" method = " post" enctype = " multipart/form — data" name = 


"forml" > 


<input type = " file" name = " file" > 


< input type = " submit" name = "Submit" value = " upload" > 
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< /form > 


« / body » 
« / html > 


[5 6 使 用 GAE E AWS S3 部 署 


在 本 节 中 ， 我 们 将 把 之 前 部 署 在 HDFS、HBase 和 Java EE 环境 中 的 文件 共享 系统 ， 部 
署 到 GAE 与 AWS S3 组 成 的 公共 云 计算 环境 中 。 

从 技术 上 看 ，AWS S3 与 HDFS 一 样 都 是 文件 系统 ， 编 程 接口 也 较为 类 似 。 而 GAE 数据 
存储 区 与 HBase 相同 ， 都 是 通过 DataNucleus 提供 的 JPA 实现 。 貌 似 技术 上 可 行 ， 但 我 们 依 


然 需 要 实际 部 署 一 下 。 


5.6.1 配置 GAE 数据 库 


在 使 用 JPA 的 情况 下 ，GAE 数据 库 配置 与 HBase 类 似 ， 都 需要 配置 persistence. xml 文 
件 。 如 代码 清单 5-31 所 示 。 
【代码 清单 5-31 】 











2 





<? xml version = "1. 0" encoding =" UTF - 8" ?> 
< persistence xmlns = " http ;//java. sun. com/xml/ns/ persistence" 
xmlns :xsi = " http://www. w3. org/2001/XMLSchema - instance" 
xsi : schemaLocation = " http ;//java. sun. com/xml/ns/ persistence 
http ://java. sun. com/xml/ns/ persistence/ persistence. 1. 0. xsd" version =" 1. 0" > 
< persistence — unit name = " GAEDB" > 
< provider > org. datanucleus. store. appengine. jpa. DatastorePersistenceProvider < / provider > 
< properties > 
< property name = " datanucleus. NontransactionalRead" value = " true" / > 
< property name = " datanucleus. NontransactionalWrite" value = " true" / > 
< property name = " datanucleus. ConnectionURL" value = " appengine" / > 
« / properties > 
< / persistence — unit > 


< / persistence > 


GAE 数据 库 操作 对 象 的 获取 方式 也 与 HBase 类 似 ， 如 代码 清单 5-32 所 示 。 
【代码 清单 5-32 】 


public final class EMF | 


private static final EntityManagerFactory emfInstance = Persistence. createEntityManagerFactory 
(" GAEDB") ; 
public static synchronized EntityManagerFactory getInstance( ) | 
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return emfInstance ; 


| 


将 HDFS 相关 的 文件 移出 后 ， 便 可 以 顺利 打开 页 面 ， 并 且 可 以 注册 用 户 ， 但 当 我 们 用 新 
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注册 的 用 户 登 录 时 ， 浏览 器 会 报错 ， 如 代码 清单 5-33 所 示 。 


【代码 清单 5-33]】 


java. lang. NoClassDefF oundError: javax. net. ssl. KeyManagerFactory is a restricted class. Please see the 


Google App Engine developer s guide for more details. 


at com. google. appengine. tools. development. agent. runtime. Runtime. reject( Runtime. java:51) 


at org. apache. http. conn. ssl. SSLSocketFactory. createSSLContext ( SSLSocketFactory. java ; 184 ) 


at com. cloud. skater. FileManager. impl. AWSS3FileManager. « init > ( AWSS3FileManager. java: 


30) 


at com. cloud. skater. util. FileSysFactory. getInstance( FileSysFactory. java ;15) 


at com. cloud. skater. util. GetFileList. getFileList( GetFileList. java:19 ) 


at com. cloud. skater. UserServlet. doPost ( UserServlet. java ;37 ) 


at javax. servlet. http. HttpServlet. service( HttpServlet. java :637 ) 


at javax. servlet. http. HttpServlet. service( HttpServlet. java ;717 ) 





这 个 错误 是 GAE 运行 环境 报 出 的 ， 它 说 明 我 们 使 用 了 GAE 运行 环境 所 不 允许 使 用 


的 类 。 





GAE 针对 Java 运行 环境 提供 了 一 个 白 名 单 ， 只 有 白 名 单 中 提 到 的 工具 包 才 能 在 GAE 中 
使 用 。 该 白 名 单 详细 信息 请 参考 下 面 的 网 站 。 


http: //code. google. com/intl/zh 





- CN/appengine/ docs/ java/ jrewhitelist. html 


Tí ILES java. net 工具 包 并 不 在 支持 之 列 ， 而 对 文件 的 写 操作 也 不 在 支持 之 列 。GAE 这 一 
基于 系统 安全 而 考虑 的 措施 ,使 我 们 不 能 继续 原先 的 移植 方案 。 那 么 是 不 是 就 没有 办 法 





了 呢 ? 











5.6.2 使 用 Applet 编写 文件 管理 界面 
现在 的 情况 是 ， 通 过 GAE 无 法 访问 远程 的 AWS S3 文件 系统 。 但 可 以 使 用 GAE 管理 用 








户 信 息 。 








ASIE GAE 的 安全 策略 不 允许 我 们 使 用 java. net 工具 包 去 访问 远程 服务 。 
能 使 用 GAE 的 网 址 抓 取 服务 访问 远程 服务 ? 


ei GAE 的 网 址 抓 取 服 务 也 提供 


改 ， 故 该 方案 行 不 通 。 





> 





Http 服务 编程 接口 ， 但 AWS S3 的 编程 接口 却 无 法 更 


因此 必须 使 用 一 个 不 能 在 GAE 运行 的 程序 库 才能 满足 我 们 的 需求 。 





解决 之 道 就 是 使 用 Java Applet。 











Java Applet 是 用 Java 语言 编写 的 一 些小 应 用 程序 ， 它 们 可 以 直接 艇 入 到 网 页 中 ， 并 由 
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用 户 下 载 到 本 地 执行 。 包 含 Applet 的 网 页 被 称 为 Java - Powered 页 ， 可 以 称 其 为 Java 支持 的 
网 页 。 当 用 户 访问 这 样 的 网 页 时 ，Applet 就 被 下 载 到 用 户 计 算 机 上 执行 ， 但 前 提 是 用 户 使 用 
的 是 支持 Java 的 网 络 浏览 器 。 由 于 Applet 是 在 用 户 计算 机 上 执行 的 ， 因 此 它 可 以 执行 我 们 
所 需要 的 java. net 工具 包 。 

我 们 使 用 Java Applet 与 swing 工具 包 ， 开 发 一 个 上 传 文件 的 程序 。Applet 代码 如 代码 清 
单 5-34 所 示 ， 详 细 代码 请 读者 参考 Sample5\Applet。 

【代码 清单 5-34】 

















public class FileChooserApplet extends JApplet | 
private static final long serialVersionUID = 1L; 
public void init( ) | 
try | 
SwingUtilities. invokeAndWait(new Runnable( ) | 
public void run( ) | 
createGUI( ) ; 


js 


} catch ( Exception e) | 


x 


JOptionPane. showMessageDialog( null, "不 能 创建 





= 
= 


} 
private void createGUI( ) | 
String user - this. getParameter( " user" ) ; 
if( user == null) | 
JOptionPane. showMessageDialog( null, "用 户 名 不 能 为 空 " ) ; 
return; 


| 


FileChooser newContentPane = new FileChooser( user) ; 
newContentPane. setOpaque( true ) ; 


setContentPane ( newContentPane ) ; 


| 


将 Applet 打包 放 入 war applet VFileChooserApplet. jar, f£ PX FileManageMent. jsp 文件 ， 如 
代码 清单 5-35 所 示 。 
【代码 清单 5-35】 


< 96 @ page language = " java" contentType = " text/html ; charset = gb2312" 96 > 
<! DOCTYPE HTML PUBLIC " —//W3C//DTD HTML 4. 01 Transitional//EN" > 
« html lang = " en - US" > 
< head > 
< title > 文件 管理 /title > 
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« / head > 
« body > 
« applet 
alt = " Dynamic Tree Applet Demo" 
code = com. cloud. skater. applet. FileChooserApplet 
archive = applet/FileChooserA pplet. jar , applet/aws — java — sdk — 1. 2. 0. jar, 





applet/aws — java — sdk — 1. 2. 0 — javadoc. jar, 





applet/aws — java — sdk — 1. 2. 0 — sources. jar, 
applet/commons — logging — 1. 1. 1. jar, 
applet/commons — codec - 1. 3. jar, 
applet/httpclient —4. 1. 1. jar, 
applet/httpcore — 4. 1. jar, 
applet/jackson — core — asl — 1. 4. 3. jar, 
applet/mail — 1. 4. 3. jar, 
applet/stax — api — 1. 0. 1. jar, 
applet/stax — 1. 2. 0. jat , 

width = 300, 

height = 300 > 


<PARAM name = " userName" value =" < 96 = request. getParameter( " userName" ) 96 >" > 


« /applet > 
« / body » 
« / html > 


运行 GAEFileSharingSystem， 详 细 代 人 码 请 读者 参考 Sample5 V GAEFileSharingSystem., 


由 于 用 到 的 Jar 包 较 多 ， 所 以 浏览 器 需要 一 段 时 间 加 载 ， 如 图 5-10 所 示 。 


"Nu 
Ne / 








图 5-10 在 浏览 器 中 加 载 Applet 
加 载 Applet 后 ， 将 可 以 看 到 如 图 5-11 所 示 的 页 面 。 








e : | http: localhostB888/UserServiet — p-ROX | xem | 








选择 文件 上 传 文件 





























图 5-11 文件 管理 页 了 
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该 页 面 分 为 上 中 下 三 个 部 分 ， 上 部 为 文件 上 传 及 选择 按钮 ， 中 部 为 文件 选择 日 志 ， 
部 为 用 户 文件 列表 。 

但 当 用 户 单 击 “ 选 择 文件 ”按钮 时 ， 没 有 任何 反应 。Java Applet 有 安全 限制 。 其 默认 
策略 不 允许 Applet 访问 本 地 文件 系统 。 因 此 需要 更 改 安全 策略 ， 使 Applet 可 以 访问 本 地 文 
件 系统 。 

(1) 使 用 keytool 工具 生成 密 匙 库 

keytool 工具 位 于 ${java_ home} /bin 目录 下 。 

在 DOS 窗口 中 执行 命令 : keytool - genkey - keystore skatercloud. store — alias skatercloud 。 

注意 : skatercloud. store 是 用 户 的 密 是 库 名 称 ， 可 以 随意 修改 ， 但 请 不 要 修改 后 绥 。 
skatercloud 为 别名 ， 这 个 也 可 以 改 成 用 户 自 己 的 名 称 。 

执行 上 述 命令 后 ，DO0S 窗口 中 会 提示 用 户 输入 keystore 的 密码 、 用 户 姓名 、 组 织 单位 等 
信息 。 这 里 要 注意 的 是 记 住 输入 密码 ， 后 面 要 用 到 。 输 入 y 进行 确认 。 然 后 再 按 《Enter》 
EJ fhx 的 主 密码 和 store 密码 设置 成 一 致 即 可 。 

(2) 使 用 keytool 工具 导出 签名 时 用 到 的 证 书 

在 DOS 窗口 中 执行 命令 : keytool - export - keystore skatercloud. store — alias skatercloud - 


file skatercloud. cert 


























m 


D:XGAEFileSharingSystem V war V applet > keytool — export — keystore skatercloud. store — alias 
skatercloud - file skatercloud. cert 

输入 keystore 密码 ， 并 保存 在 认证 文件 skatercloud. cert 中 。 

注意 : skatercloud. store 就 是 第 (1) 步 生成 的 密 匙 库 名 称 ，skatercloud 也 是 在 第 (1) 
步 中 指定 的 别名 ，skatercloud. cert 为 生成 的 证 书 的 名 称 ， 用 户 可 以 自己 修改 名 称 ， 但 不 要 改 
后 级。 命令 执行 成 功 ， 用 户 会 在 当前 目录 下 找到 一 个 文件 skatercloud. cert， 这 就 是 刚才 生成 
的 证 书 。 

(3) 使 用 jarsigner 工具 签名 jar 压缩 文档 

jarsigner 工具 位 于 $| java home] /bin 目录 下 。 

在 DOS 窗口 中 执行 命令 :jarsigner - keystore skatercloud. store FileChooserApplet. jar skater- 


cloud 











D: \ GAEFileSharingSystem V war V applet > jarsigner — keystore skatercloud. store FileChoos- 
erApplet. jar skatercloud 

输入 密 钥 库 的 口令 短语 : x x x x x。 

警告 : 签名 者 证 书 将 在 六 个 月 后 过 期 。 

注意 : skatercloud. store 就 是 第 (1) 步 中 生成 的 密 匙 库 名 称 。 

FileChooserApplet. jar 就 是 applet jar 文档 。 

skatercloud 是 提供 者 的 名 称 ， 这 里 可 设置 为 别名 。 

(4) 部 署 

在 应 用 程序 的 附属 目录 下 创建 一 个 skatercloud. policy 文件 ， 其 内 容 如 代码 清单 5-36 
所 示 。 
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【代码 清单 5-36 】 


keystore " http://localhost :8888/applet/skatercloud. store " , "JKS" ; 
grant signedBy " skatercloud " 


| permission java. io. FilePermission " < < ALL FILES > >", "read ,write , delete" ; 


E 


同时 每 个 客户 端 需要 修改 一 下 各 自 $| java. home} /jre/lib/security 目录 下 的 java. security 
文件 ， 如 代码 清单 5-37 所 示 。 
【代码 清单 5-37]】 


policy. url. 1 = file; $| java. home} /lib/security/java. policy 
policy. url. 2 = file; $| user. home | /. java. policy 
policy. url. 3 = http ;//localhost : 8888/applet/skatercloud. policy 





运行 时 ， 会 弹出 “警告 -安全 ”对 话 框 ， 询 问 是 否 信任 该 网 站 ， 如 图 5-12 所 示 。 


警告 - 安全 





该 应 用 程序 的 数字 签名 无 法 验证 。 是 否 要 运行 该 应 用 dn 
程序 9 LZ 


名 称 : com. cloud skater. applet. FileChooserApplet 
发 行者 : skater 
M: http: //1ocalhost:8888 


加 


UJ 证 为 未 自 可 个 来 源 。 只 有 在 舍 售 任 应 后 程 


更 多 信息 人 





























图 5-12 “警告 - 安全 ” xmi 
文件 并 将 其 上 传 到 S3 文件 系统 中 了 ， 如 图 5-13 所 示 。 


: e ewe E 
[€ |  http://localhost:8888/UserServlet P-n 


选择 文件 上 传 文件 


选择 上 传 文件 为 : hello.txt. * 
上 传 文件 : hello.txt 


IHI 








HÆ, MAENE 





m 















































文件 名 :hello.txt 文 件 大 小 :5 字 节 











5-13 上传 文件 到 S3 系统 
5.6.3 实现 AWS S3 文件 管理 类 


(1) 初始 化 AWS 客户 端 
现在 我 们 可 以 看 一 下 AWS 文件 系统 操作 对 象 的 实现 。 与 HDFS 不 同 ，AWS 需要 用 户 提 
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供 密 码 验 证 文件 ， 该 文件 一 般 存放 在 AwsCredentials. properties 中 ， 初 始 化 AWS 客户 端的 代 
码 如 代码 清单 5-38 所 示 。 
【代码 清单 5-38 





publie class AWSS3FileManager implements FileManager | 


private static AmazonS3 s3; 
private static final Logger log = Logger. getLogger( AWSS3FileManager. class. getName( ) ) ; 
public AWSS3FileManager( ) | 

PE 

* 初始 化 AWS S3 客户 端 

*/ 

try | 

if (s3 == null) | 
s3 2 new AmazonS3Client( new PropertiesCredentials ( AWSS3FileManager. class. 


getResourceAsStream( " AwsCredentials. properties" ) ) ) ; 


} 
| catch ( IOException e) | 


log. log( Level. SEVERE, e. getMessage( ) , e. getCause( ) ) ; 


| 


(2) 上 传 文件 

与 在 HDFS 文件 系统 中 为 每 个 用 户 创建 目录 不 同 ，AWS 为 每 个 用 户 创建 一 个 单独 的 
Bucket ( 桶 ) 。 用 户 所 有 的 文件 都 将 存放 在 自己 的 桶 中 。 

创建 桶 的 代码 如 代码 清单 S-39 Bron s 

【代码 清单 5-39 】 





@ Override 
public void createDirForUser( String dirName) throws FileException | 


// 以 用 户 名 作为 AWS S3 Bucket 的 名 称 
s3. createBucket( dirName ) ; 


| 


上 传 文件 的 代码 如 代码 清单 5-40 所 示 。 
【代码 清单 5-40】 


publie void putFile ( String directoryName, String remoteFileName, String localFileName ) throws 
FileException | 
s3. putObject ( new PutObjectRequest ( directoryName, remoteFileName, new File ( local- 
FileName) ) ) ; 
} 
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(3) 展示 文件 

AWS S3 支持 查找 文件 ， 用 户 可 以 通过 文件 的 前 绥 快 速 地 在 某 一 个 桶 中 查找 文件 名 以 该 
前 级 开头 的 所 有 文件 。 代 码 如 代码 清单 5-41 所 示 。 

【代码 清单 5-41 】 














€ Override 
publie List « CFile » listFileForUser( String uname, String filePrefix) throws FileException | 


| 


List < CFile > result = new ArrayList < CFile > ( ) ; 
ListObjectsRequest listReq 2 new ListObjectsRequest( ) ; 
if (uname == null) | 

throw new FileException( " listFileForUser , 必须 输入 用 户 名 " ) ; 





listReq = listReq. withBucketName ( uname ) ; 
if (filePrefix !null) | 

listReq = listReq. withPrefix ( filePrefix ) ; 
| 


ObjectListing objectListing = s3. listObjects( listReq) ; 


for ( S3ObjectSummary objectSummary : objectListing. getObjectSummaries( ) ) | 
CFile cFile = new CFile( ) ; 
cFile. setName( objectSummary. getKey( ) ) ; 
cFile. setSize( objectSummary. getSize( ) ) ; 


| 


return result ; 


XT AWS 文件 共享 系统 实现 细节 ， 请 参考 光盘 中 的 以 下 文件 夹 。 


sample5 \ Applet 
sample5 \ GAEFileSharingSystem 


[9 7 小 结 


通过 本 章 的 学 习 , 我 们 利用 前 面 所 学 习 的 云 计算 技术 ,开发 了 一 套 可 以 在 私有 云 





(HDFS + HBase + Java EE) 与 公共 云 (AWS S3 + Bigtable + GAE) 上 运行 的 文件 共享 


同时 也 为 该 系统 实现 了 必要 的 安全 模块 ， 如 第 1 章 所 述 ， 目 前 并 没有 为 云 计算 应 用 提供 





的 专门 的 云 安全 技术 ， 开 发 人 员 需 要 结合 应 用 的 实际 情况 运用 安全 技术 。 
在 2011 4E 6 月， 苹果 公司 推出 了 其 iCloud 服务 。 该 服务 的 核心 就 是 文件 共享 。 作 为 运 
营 商 要 提供 文件 共享 服务 ， 除 了 安全 就 是 系统 稳定 。 而 HDFS、AWS S3 这 些 云 计算 文件 系 
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统 提供 了 很 好 的 文件 异地 备份 功能 。 借 助 于 它们 ， 企 业 与 个 人 用 户 都 可 以 搭建 强大 的 文件 共 








享 系统 。 
本 章 侧 重 于 将 应 用 部 署 在 云 环境 中 ， 并 没有 使 用 MapReduce 或 Symphony DE 这 样 的 分 


布 式 计算 框架 ,在 接 下 来 的 章节 中 ,我 们 将 重点 使 用 云 计算 中 的 分 布 式 计算 框架 来 开发 
应 用 。 
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第 6 章 云 计 算 在 数据 挖掘 中 的 应 用 


通过 上 一 章 的 学 习 ， 我 们 使 用 云 计 算 技 术 开 发 了 一 个 文件 共享 系统 。 但 云 计算 绝 不 仅仅 
能 开发 共享 文件 系统 。 从 本 音 以 后 的 连续 儿 章 ,我们 将 逐渐 深入 讨论 云 计算 在 各 个 领域 中 的 
实际 应 用 。 本 童 介绍 的 云 计算 应 用 将 会 是 很 多 读者 都 非常 感 兴趣 的 主题 一 一 数据 挖 气 。 

数据 挖掘 (Data Mining) 就 是 从 大 量 的 、 不 完全 的 、 有 噪声 的 、 模 糊 的 、 随 机 的 实际 
应 用 数据 中 ， 提 取 隐 含 在 其 中 人 们 事先 不 知道 的 ， 但 又 是 潜在 有 用 的 信息 和 知识 的 过 程 。 一 
个 应 用 数据 挖掘 的 有 趣 实例 是 ， 美 国 沃尔玛 超市 使 用 数据 挖 气 工 具 发 现 了 啤酒 与 尿布 之 间 有 
很 强 的 购买 关联 。 当 这 样 的 结果 出 现时 ,沃尔玛 公司 也 很 疑惑 ， 于 是 作 了 调查 。 这 对 看 上 去 
毫 不 相干 的 东西 之 所 以 存在 关联 ， 其 实 源 于 当地 人 的 购买 习惯 ,美国 的 太太 们 常 叮 嘱 她 们 的 
丈夫 下 焉 后 为 小 孩 严 尿布 ， 而 丈夫 们 在 美 尿 布 后 又 随 手 带 回 了 他 们 喜欢 的 啤酒 。 于 是 沃尔玛 
超市 将 啤酒 和 尿布 放 在 一 起 销售 ， 结 果 啤 酒 和 尿布 的 销量 双双 大 涨 。 下 面 我 们 将 从 熟悉 的 应 
用 入 手 ， 使 用 云 计算 进行 数据 挖掘 。 







































































e. 1 从 宠物 商店 引出 的 商业 智能 


还 记得 在 第 1 章 我 们 投入 了 两 台 服 务 器 苦心 经 营 的 宠物 商店 吗 ? 自 开店 起 它 的 销售 业绩 
一 直 不 错 。 但 随 着 业务 量 的 不 断 扩大 ， 商 店 的 整个 版 面 布局 已 经 不 能 满足 业务 发 展 的 需要 ， 
股东 们 希望 对 宠物 商店 的 版 面 进行 一 次 整体 性 改造 ， 一 方面 让 商店 看 上 去 更 加 美观 易 用 ; 另 
一 方面 ， 主 要 是 想 利用 过 去 顾客 已 购买 商品 的 历史 信息 作为 参考 ， 推 荐 他 们 可 能 感 兴趣 的 其 
他 商品 ， 以 最 大 程度 的 挖掘 用 户 的 潜在 需求 ， 从 而 增加 宠物 商品 的 销售 量 。 

宠物 商店 的 版 面 风格 是 很 容易 改造 的 ， 但 是 怎么 才能 挖掘 出 用 户 感 兴趣 的 商品 呢 ? 如 图 
6-1 所 示 ， 数 据 控 据 通常 都 会 包含 以 下 四 个 基本 步骤 ; 


C w ë SED 4E 
确定 业务 P e ne 
EN 数据 准备 一/ 数据 挖掘 一 / 结果 分 析 


图 6-1 数据 挖掘 的 基本 步骤 




















(1) 确定 业务 对 象 
清晰 地 定义 出 业务 问题 ， 认 清 数 据 挖掘 的 目的 是 数据 挖掘 的 重要 一 步 。 挖 掘 的 最 后 结构 
是 不 可 预测 的 ， 但 要 探索 的 问题 应 是 有 预见 性 的 ， 为 了 数据 挖掘 而 数据 挖掘 则 带 有 盲目 性 ， 











是 不 会 成 功 的 。 

(2) 数据 准备 

搜索 所 有 与 业务 对 象 有 关 的 内 部 或 外 部 数据 信息 ， 并 从 中 选择 出 适用 于 数据 挖掘 应 用 的 
数据 。 


(3) 数据 挖掘 

对 所 得 到 的 经 过 转换 的 数据 进行 挖掘 ， 除 了 选择 合适 的 挖掘 算法 外 ， 其 余 一 切 工 作 都 能 
自动 地 由 程序 完成 。 

(4) 结果 分 析 和 行动 反馈 

对 数据 挖掘 的 结果 进行 评估 和 分 析 ， 进 而 根据 结果 来 采取 必要 的 措施 ， 反 人 馈 并 应 用 到 实 
际 的 业务 模型 中 。 

“确定 业务 对 象 ” 这 个 步骤 其 实 我 们 之 前 已 经 提 到 过 了 ， 就 是 利用 宠物 商店 顾客 已 购买 
商品 的 历史 信息 作为 依据 ,来 进一步 挖掘 潜在 的 客户 需求 ， 增 加 宠物 商店 的 销售 量 。 而 
“数据 准备 ”和 “数据 挖掘 ”这 两 个 步骤 则 是 后 续 几 节 中 要 深入 讨论 的 重点 。 最 后 , “结果 
分 析 和 行动 反馈 ”就 是 对 数据 挖掘 结果 进行 分 析 ， 根 据 顾客 的 购买 情况 ， 向 他 们 推荐 其 他 
宠物 商品 。 

在 给 出 具体 的 解决 方案 之 前 有 必要 先 向 读者 介绍 一 下 本 章 所 使 用 的 数据 挖掘 分 析 方法 和 
Apriori 算法 的 背景 知识 。 

数据 挖掘 的 分 析 方 法 多 种 多 样 ， 每 种 方法 的 使 用 场景 和 目的 也 不 尽 相 同 。 它 们 包括 关联 
分 析 、 到 类 分 析 、 分 类 、 预 测 、 时 序 模式 和 偏差 分 析 等 。 限 于 本 书 篇 幅 ， 上 有 具体 每 种 分 析 方 法 
的 内 容 和 适用 场景 不 再 具体 展开 。 这 里 只 对 下 面 几 节 即将 用 到 的 关联 分 析 方 法 作 一 下 简要 
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介绍 。 

关联 分 析 是 数据 挖掘 的 一 种 主要 形式 ， 它 最 典型 的 应 用 场景 体现 在 基于 历史 交易 数据 的 
分 析 当 中 。 关 联 分 析 能 够 发 现 交 易 数据 中 不 同 商品 之 间 的 联系 ， 如 购买 了 某 一 商品 对 购买 其 
他 商品 的 影响 。 这 种 影响 有 时 是 正面 的 ， 有 时 是 负面 的 。 例 如 “90% 的 顾客 在 一 次 购买 活 
动 中 购买 商品 A 的 同时 购买 了 商品 B”， 表 明 商 品 A 与 B 是 正 相 关 的 。 这 种 规则 可 以 表示 为 
“A =>B”， 表 明 顾 客 在 购买 商品 A 的 条 件 下 购买 B 的 概率 。 通 过 相关 方法 可 以 对 顾客 的 购 
买 模 式 进 行 深入 分 析 ， 发 现 对 商业 决策 有 价值 的 规则 和 知识 ， 这 对 于 改进 销售 业绩 等 商业 活 
动 的 决策 是 非常 重要 的 。 

进行 关联 分 析 的 数据 挖掘 方法 有 很 多 种 ， 如 基于 SQL 的 关联 规则 挖掘 算法 (SETM ) 、 
Apriori 算法 、FP 增长 算法 、QTTP 算法 等 。 本 章 将 采用 数据 挖掘 关联 分 析 中 的 基本 算法 
Apriori 算法 来 完成 后 续 工 作 。 


EE 2 Apriori 算法 


IBM 公司 Almaden 研究 中 心 的 R. Agrawal 首先 提出 了 关联 规则 模型 ， 并 给 出 求解 算法 
AIS。 随 后 又 出 现 了 SETM 和 Apriori 等 算法 ， 其 中 Apriori 是 关联 规则 模型 中 的 经 典 算 法 ， 
是 由 数据 库 专 家 Agrawal 在 1993 年 设计 出 来 的 。 该 算法 主要 用 于 在 交易 数据 、 关 系数 据 
或 其 他 信息 载体 中 ， 查 找 存 在 于 项 目 集合 或 对 象 集合 之 间 的 频繁 模式 、 关 联 性 或 因果 
结构 。 


6.2.1 Apriori 算法 的 实现 原理 


在 开始 介绍 Apriori 算法 前 ， 需 要 明确 几 个 重要 概念 。 

(1) N 项 集 

表示 由 N 个 元 素 组 成 的 元 素 集 合 (N 为 大 于 0 的 整数 ) 。 

(2) N 项 集 的 支持 度 

表示 在 所 有 样本 中 ， 能 够 匹配 特定 N 项 集 要 求 的 样本 数量 ， 它 也 可 以 表示 成 百分比 的 
形式 。 

(3) 频繁 N 项 集 (L[n]) 

表示 满足 指定 的 最 小 支持 度 的 所 有 N 项 集 。 

(4) 候选 N 项 集 (C[n]) 

它 由 频繁 N -1 项 集 L[n -1 生成， 是 计算 频繁 N 项 集 的 基础 ,， C[n] 必 须 保证 包括 所 有 
的 频繁 N 项 集 L[ n], 

现在 开始 介绍 Apriori 算法 的 基本 实现 原理 。 使 用 Apriori 算法 进行 关联 规则 挖掘 时 主要 
分 为 以 下 几 个 步骤 : 

1) 首先 寻找 L[1] CHI E 1 项 集 ) ; 

2) 在 L[k] 的 基础 上 生成 候选 频繁 k +1 MR C[k +1]; 

3) 用 事务 数据 库 D 中 的 事务 对 所 有 Cik +1] 进行 支持 度 测试 以 寻找 频繁 项 集 LEk + 
1] ， 计 算 每 个 候选 频繁 项 集 的 支持 度 ， 如 果 大 于 最 小 支持 度 ， 则 加 入 到 L[k +1]; 

4) WÈ Lik +1] 为 空 集 ， 则 结束 ，L[1] UL[2] U… 即 为 结果 ; 否则 转 2) 继续 。 
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Apriori 算法 的 伪 代 码 如 代码 清单 6-1 所 示 。 
【代码 清单 6-1 】 


LL1] = (89€ 1 项 集 | ;人 初始 化 频繁 项 集 L[ 1] (也 称 单 品 项 集 ) 
for (k=2; L[k 一 1] 不 为 空 ; k++ ) | 
C[k] =apriori - gen(L[k -1 ] ) ;// 根据 LIk=1] 产 生 新 的 候选 频繁 项 集 C[ k] 
For all transactions te D | /对 所 有 的 交易 记录 做 循环 
C =subset(C[k] ,t) ;// 找 出 当前 交易 记录 t 和 候选 频繁 项 集 C[ k ] 的 交集 
For all candidates c e C do// 对 存在 的 候选 频繁 项 集 的 交集 进行 支持 度 计数 


c. count ++ ; 








| 
L[k] = {ceC[k] lc. count > 2 minsup] ;// 保 留 大 于 最 小 支持 度 的 频繁 项 集 到 LL[ kk] 
| 
Answer 2L[1] UL[2] U... 
一 讲 到 算法 ， 也 许 很 多 读者 都 会 产生 抵触 心理 ， 笔 者 也 不 大 喜欢 一 堆 的 数学 符号 ， 而 是 
希望 通过 简单 的 实例 来 介绍 算法 的 本 质 ， 下 一 节 我 们 就 将 通过 一 个 简单 的 例子 来 揭 开 Apriori 
算法 的 面纱 。 当 然 ， 如 果 读 者 对 Apriori 算法 已 经 很 了 解 可 直接 跳 过 下 一 节 。 


6.2.2 利用 Apriori 小 试 牛刀 


下 面 继续 使 用 宠物 商店 为 例 来 介绍 Apriori 算法 的 实际 应 用 假设 目前 宠物 商店 的 交易 
系统 中 只 有 表 6-1 中 的 几 张 顾客 购物 清单 。 
表 6-1 顾客 购物 清单 















































交易 订单 号 顾客 购物 清单 
001 B. BE. SA, NOR. TO, 
002 fag, m, BE 
003 猫 粮 、 狗 粮 、 宠 物 玩具 
004 鸟 、 乌 笼 、 乌 食 
005 猫 粮 、 猫 砂 、 宠 物 玩具 








由 于 本 次 版 面 布 局 修改 的 一 个 重要 目标 就 是 利用 过 去 顾客 已 购买 商品 的 历史 信息 作为 参 
考 ， 推 荐 他 们 可 能 感 兴趣 的 其 他 商品 。 因 此 在 这 里 ， 宠 物 商 店 的 管理 者 经 过 仔细 考虑 和 讨 
论 ， 确 定 只 要 一 个 商品 组 合 的 购买 比例 占 到 订单 交易 笔 数 的 40% ( 即 支 持 度 ) ， 即 可 认为 该 
商品 组 合 中 的 商品 集合 是 具有 较 强 的 购买 关联 性 。 因 此 ， 如 果 顾 客 在 购物 篮 中 加 入 了 组 合 其 
中 的 一 种 商品 ， 则 系统 就 会 立刻 将 组 合 中 的 其 他 商品 推荐 给 顾客 。 

通过 表 6-1 的 数据 就 可 以 看 出 支持 度 大 于 40% 的 商品 组 合 结果 。 可 是 ,在 面 对 数 以 百 
万 计 的 交易 数据 时 我 们 又 如 何 能 够 得 到 期 望 的 结果 呢 ? 下 面 就 模拟 Apriori 算法 完成 这 项 
工作 。 

(1) 计算 单项 商品 的 频繁 项 集 L[ 1 ] 

首先 要 找到 单项 商品 的 候选 商品 频繁 项 集 C[1] ， 然 后 过 滤 挥 其 中 支持 度 小 于 4096 的 商 
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品 频繁 项 集 从 而 得 到 LT[1] ， 如 表 6-2 所 示 。 








云 计算 在 数据 枕 所 中 的 应 用 | 第 6 章 | 






































表 6-2 计算 频繁 项 集 L[1] 
商品 频繁 项 集 C1] 存在 的 交易 订单 号 支持 度 是 否 保留 该 商品 
5 001, 002, 004 3/5 x100% >40% 是 
EE 001, 002, 004 3/5 x100% >40% 是 
鸟 食 001, 004 2/5 x 10096 — 4096 是 
猫 粮 001, 003, 005 3/5 x 10096 » 4096 是 
猫 砂 001，005 2/5 x100% =40% 是 
鱼 食 002 1/5 x100% <40% f? 
狗 粮 003 1/5 x100% <40% f 
宠物 玩具 003 ，005 2/5 x100% — 4096 是 
得 到 频繁 项 集 L[1] = | 马上 ，}| 鸟 乱 | ，| 乌 食 | ，| R), [JEW], 宠物 玩具 ) | 。 


(2) 根据 频繁 项 集 LLI] 生成 候选 频繁 项 集 C[2 ] 
顾名思义 ，C[2] 即 为 商品 数量 为 2 的 候选 频繁 项 集 ， 它 是 由 单 品 频繁 项 集 L[1] 中 的 频 


繁 项 集 两 两 组 合 而 来 的 ， 这 里 直接 给 出 结 





得 到 候选 频繁 项 集 C[2] =/(85, S], (8, SRJ, (5, JIR), (5, Mw), 
(5, ØKE], (S, SRI, (556, IR, S, WWP], | ESAE, EØNEL, 


(SR, WR, (SR, WW), (SR, KØN, 猫 粮 ， 猫 砂 |， 





| 猫 砂 ， 宠 物 玩 具 | | 。 
(3) 计算 单项 商品 频繁 项 集 LL2 ] 
利用 候选 频繁 项 集 CL 2] 进 行 计算 ， 过 滤 掉 支持 度 小 于 40% 的 商品 频繁 项 集 得 到 L[2] ， 


如 表 6-3 所 示 。 








| 猫 粮 ， 宠 物 玩具 | ， 















































表 6-3 计算 频繁 项 集 L[2] 
商品 频繁 项 集 C[2] 存在 的 交易 订单 号 支持 度 是 否 保留 该 商品 
5, R4 001, 002, 004 3/5 x100% >40% 是 
5, SR 001, 004 2/5 x 100% =40% 是 
鸟 ， 猫 粮 001 1/5 x100% <40% f 
马 ， 猫 砂 001 1/5 x100% <40% f 
5, EHNE 无 0/5 x100% <40% f 
EE, Sf 001, 004 2/5 x 10096 — 4096 是 
EE, AR 001 1/5 x 10096 <40% f 
EE. AP 001 1/5 x 100% <40% 否 
鸟 乱 ， 宠 物 玩 具 无 0/5 x 100% <40% f 
SR, AIR 001 1/5 x 100% « 4096 f 
鸟 食 ， 猎 砂 001 1/5 x100% <40% fü 
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( 续 ) 
商品 频繁 项 集 C[2] 存在 的 交易 订单 号 支持 度 是 否 保留 该 商品 
鸟 食 ， 宠 物 玩 具 无 0/5 x100% <40% f 
猫 粮 ， 猫 砂 001，005 2/5 x 100% — 4096 是 
猫 粮 ， 宠 物 玩 具 003 ，005 2/5 x100% =40% 是 
猫 砂 ， 宠 物 玩 具 005 1/5 x 100% <40% f 
得 到 频繁 项 集 L[2] =-{15, 5%), 15, S8), 15%, SEI, ，! 猫 粮 ， 猪 砂 }， 





| 猫 粮 ， 宠 物 玩 具 } | 。 

(4) 根据 频繁 项 集 LL2] 生成 候选 频繁 项 集 CL3] 

本 步 和 第 二 步 中 C[2] 的 生成 规则 是 一 样 的 ， 这 里 强调 一 点 ， 在 Apriori 算法 中 只 允许 差 
异 为 1 的 不 同 项 集 进行 组 合 。 例 如 在 本 次 计算 CL3] 的 候选 频繁 项 集 时 ， 5, EE] 和 
(5, SA] 之 间 是 可 以 组 合 的 ， 而 |5, 5%) 和 (JR, ME) 由 于 这 两 个 频繁 项 集 
的 差异 为 2 (超过 了 1 个 元 素 ) ， 则 不 能 进行 组 合 。 

得 到 候选 频繁 项 集 CL3] = | | 马 ， 马 乱 ， 乌 食 | ，| 猫 粮 ， 狂 砂 ， 宠 物 玩具 | | 。 

(5) 计算 单项 商品 频繁 项 集 LL3 ] 














表 6-4 计算 频繁 项 集 L[3] 
商品 频繁 项 集 C[ 3 ] 存在 的 交易 订单 号 支持 度 
鸟 ， 乌 笼 ， 乌 食 001, 004 2/5 x 100% — 4096 
猫 粮 ， 猫 砂 ， 宠 物 玩具 005 1/5 x 100% <40% 








得 到 频繁 项 集 L[3] =115, SÆ, SII. 

(6) 循环 终结 条 件 及 获得 最 终 的 商品 频繁 项 集 

由 于 C4 应 由 工 [3] 中 的 频繁 项 集 组合 而 来 ,， 但 L[3] 中 目前 已 没有 可 供 继 续 连 接 的 频繁 
项 集 ， 因 此 循环 到 此 结 

根据 Apriori 算法 ,本 例 中 最 终 的 商品 频繁 项 集 为 L[1] UL[2] ULL[3] 2001 S], 15 
Él, (SRI, [JWR], JEW], EUME, 5, 5%), 15, SR], 15%, § 
f, JR, ^), (f, JEVIBUA]), (5, SÆ, SRI. 

根据 本 例 中 宠物 商店 的 需求 ， 对 客户 兴趣 度 有 意义 的 商品 关联 数据 为 S, REI, 
(5, SR], (S, EI, UR, WwW], R, HØNE), 15, SE, SI, 
此 ， 宠 物 商 店 可 根据 以 上 数据 来 进行 商品 推荐 。 


6.3 商品 推荐 功能 在 宠物 商店 中 的 程序 实现 


通过 上 一 节 的 介绍 和 逐 层 推导 ， 相 信 读 者 对 Apriori 算法 和 它 在 宠物 商店 中 的 应 用 有 了 
一 定 的 了 解 。 那 么 ， 我们 该 如 何 通 过 Java 程序 来 扩展 宠物 商店 中 的 商品 推荐 功能 呢 ? 本 节 
将 通过 对 JPetStore 程序 的 改造 来 实现 宠物 商店 中 的 商品 推荐 功能 。 
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6.3.1 宠物 商店 JPetStore 基础 环境 配置 


[ze>] 


像 介 绍 一 般 Java 程序 一 样 ， 首 先 需 要 对 JPetStore 的 源 代 码 环 境 进行 配置 ， 以 便 读 
者 能 够 更 快 地 进入 到 程序 设计 环节 。 请 读者 确保 Eclipse 和 Tomcat 服务 器 都 可 以 正常 工 
作 ， 同 时 考虑 到 大 家 的 使 用 习惯 ， 我 们 将 用 MySQL 数据 库 来 替代 源 程序 中 的 默认 数据 
E hsqldb, MySQL 的 下 载 地 址 为 http: //dev. mysql. com/downloads/mysql/, iE dms A íT 


安装 。 
在 所 有 的 基础 软件 准备 完毕 后 ， 





就 可 以 开始 进行 宠物 商店 的 项 目 配置 了 。 由 于 JPetStore 


的 源 代码 不 是 按 Eclipse 项 目 工程 的 结构 来 组 织 的 ， 因 此 要 先 对 其 进行 项 目 源 代码 结构 的 整 


理工 作 。 


首先 ， 从 已 下 载 的 示例 程序 mybatis - jpetstore - 6. 0.0 - bundle. zip 文件 中 对 mybatis - 
jpetstore — 6. 0. 0 - sources. jar 进行 解压 ， 得 到 如 图 6-2 所 示 的 三 个 目录 。 














名 称 A 大 小 | 类 型 | 
Quisvs 文件 来 
resources THE 
webapp TR 
图 6-2  jpetstore 示例 程序 











目录 结构 





然后 ， 在 Eclipse 中 建立 一 个 Java 项 目 并 将 目录 中 的 各 种 资源 加 入 到 工程 中 。 这 里 需要 


建立 一 个 DynamicWeb 工程 ， 如 图 6-3 所 示 。 





Select a wizard 


Create a Dynamic Web project 


G 
Q9 New Project —---A— -—— Á- 





Wizards: 





type filter text 





由 * 色 Java 

(£g JBoss Rules 

H-E Plug-in Development 

& SVN 

E-( Web Application Components 

ynaic web rojeat 

i Static Web Project 

对 Examples 


















































m 


k|6-3 在 Eclipse 中 新 建 Dynamic Web 工程 界面 -1 


由 于 本 章 的 主题 是 商务 智能 ， 所 以 项 目的 名 字 就 叫 JPetStoreBI， 如 图 6-4 所 示 。 
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一 
88 New Dyna 
Dynamic Web Project 


Create a standalone Dynamic Web project or add it to a new or 
existing Enterprise Application. 








Project name: JPetStoreBI 

Project location 

Use default location 

Location: CAWorkspaceY 
Target runtime 


Dynamic web module version 








Configuration 

(Defaut Configuration for Apache Temetve 7][ Modiy | 
A good starting point for working with Apache Tomcat v6.0 runtime. Additional 
facets can later be installed to add new functionality to the project. 





EAR membership 
Cl Add project to an EAR 





EAR project name: | EAR M | New Project... 





Working sets 
Add project to working sets 


Working sets: * Select... 














(sgor J| nenz) [Erish] | canei] 











图 6-4 在 Eclipse 中 新 建 DynamicWeb 工程 界面 -2 
单 击 Finish 按钮 ,项目 生 成 的 目录 结构 和 文件 如 图 6-5 所 示 。 


T Project Explorer ocoGg|gmgsg 9-9 "B8 
4 È JPetStoreBI 
4 (£ settings 
M jsdtscope 


org.eclipse.jdt.core.prefs 
[R org.eclipse.wst.common.component 
[R org.eclipse.wst.common.project.facet.core.xml 
B org.eclipse.wst.jsdt.ui.superType.container 
B org.eclipse.wstjsdt.ui.superType.name 
4 (£ build 
& classes 
& src 
, 
4 (z» META-INF 
MANIFEST.MF 
4 (zz WEB-INF 
& lib 
[X] web.xml 
四 classpath 
四 .project 























图 6-5 在 Eclipse 中 新 建 Dynamic Web 工程 界面 -3 
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这 里 我 们 需要 把 之 前 解压 出 来 的 三 个 目录 Project Explorer (s Navigator 23 





分 别 置 于 对 应 的 目录 中 : 

Java ”目录 的 内 容 一 src 目录 

webapp 目录 的 内 容 一 WebContent 目录 

resources 目录 的 内 容 一 JPetStoreBI 项 目 根 

目录 

最 终 的 目录 展示 效果 如 图 6-6 所 示 。 

接 下 来 还 需要 对 JPetStoreBI 工程 使 用 的 各 
种 类 库 进行 配置 。 为 了 简便 ,我 们 可 以 直接 将 
mybatis - jpetstore —6. 0. 0 — bundle. zip 文件 中 的 
mybatis - jpetstore — 6. 0. 0. war 解压 ， 将 WEB - 
INF 目录 下 的 lib 直接 复制 到 工程 中 的 对 应 Lib 
目录 。 这 里 由 于 将 要 使 用 MySQL 数据 库 ， 所 以 
也 要 将 MySQL 数据 库 的 驱动 jar 包 放 到 Lib. H 
F, MySQL 数据 库 驱 动 包 的 下 载 地 址 为 ht- 


4 总 JPetStoreBI 
b (g .settings 
b build 
b (£g resources 
4 Gg» src 
4 使 org 
4 (jj mybatis 
4 (ji? jpetstore 
b gx domain 
b (£g persistence 
b fg service 
b gr web 
4 (jj WebContent 
b (gg css 
P (gj images 
4 © META-INF 
国 MANIFEST.MF 
4 g» WEB-INF 
» gs jsp 
G lib 
网 applicationContext.xml 





(X) web.xml 
E] help.html 
E] index.html 
四 .classpath 

lij project 











tp :// dev. mysql. com/downloads/connector/j/ 。 

完成 上 述 工作 后 ， 在 JPetStoreBI 项 目 上 单 击 右键 ， 选 择 Properties。 然 后 选择 Java build 
Path 节点 的 Source 选项 卡 ， 单 击 选 项 卡 右 侧 的 Add Folder 按钮 ， 将 项 目 中 的 resources 目录 
添加 进来 ， 完 成 后 的 配置 界面 如 图 6-7 所 示 。 


Properties for JPetStoreB| 








type filter text 








Resource 

Builders 

Deployment Assembly 
Java Build Path 

Java Code Style 

Java Compiler 

Java Editor 

Javadoc Location 
JavaScript 

JSP Fragment 
Project Facets 
Project References 
Run/Debug Settings 
Server 

Service Policies 
Targeted Runtimes 
Task Repository 
Task Tags 

Validation 

Web Content Settings 
Web Page Editor 
Web Project Settings 
WikiText 

XDoclet 


Java Build Path 











69 Source W Projects | = 
Source folders on build path: 





E JPetStoreBl/resources 

如 Included: (All) 

$5 Excluded: (None) 

a? Native library location: (None) 
E JPetStoreBI/src 

2: Included: (All) 

5 Excluded: (None) 

a? Native library location: (None) 

















F] Allow output folders for source folders 





Default output folder: 





JPetStoreBIbuildXclasses 

















6-7 JPetStoreBI 工程 属性 设置 -1 








图 6-6 JPetStoreBI 工程 目录 结构 
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另外 ， 检 查 Libraries 选项 卡 中 的 配置 ， 如 果 确 认 已 经 包含 图 6-8 中 的 三 个 类 库 ， 此 时 
的 工程 就 可 以 顺利 编译 通过 了 。 如 果 发 现 缺 少 类 库 的 情况 ， 请 则 需 自 行 手工 添加 。 





n 
e Properties for JPetStoreB 








type filter text 





Java Build Path 








Resource : i 
: BÀ Libraries 
Builders 


JARs and class folders on the build path: 


b BÀ Apache Tomcat v6.0 [Apache Tomcat v6.0] 
b BÀ JRE System Library [jre6] 


Deployment Assembly 
Java Build Path 

Java Code Style 

Java Compiler 








Java Editor 
Javadoc Location 
JavaScript 

JSP Fragment 


&& Access rules: No rules defined 
x? Native library location: (None) 
aopalliance-1.0jar - CAWorkSpaceWebCor 
asm-3.1jar - CAWorkSpaceWebContentW. 





Project Facets 
Project References 


- cglib-2.2jar - o 


Refactoring History (nj hsgldb-1.8.0.10jjar - [Em T T rem 
Run/Debug Settings jstl-1.2jar - CAWorkSpaceWebContentWWEI 
Server log4j-1.2.16,jar - CAWorkSpaceWWebConten 
Service Policies 加 mybatis-3.0.4jar - CAWorkSpaceWebConte| Remove 
Targeted Runtimes b mybatis-spring-1.0.0.jar - CAWorkSpaceWWe 
Task Repository mysq|l-connector-java-5.0.8-bin.jar - CAWorl 
Task Tags 加 spring-aop-3.0.5.RELEASE jar - CAWorkSpac 
Validation spring-asm-3.0.5.RELEASE jar - CAWorkSpa 
Web Content Settings 加 spring-beans-3.0.5.RELEASE jar - CAWorkSp 
Web Page Editor 加 spring-context-3.0.5.RELEASE jar - CAWorkS 
Web Project Settings spring-core-3.0.5.RELEASE jar - CAWorkSpa 
WikiText b [mj spring-expression-3.0.5.RELEASE jar - CAWc ~ 
XDoclet 

















Migrate JAR File... 
































© 








图 6-8 JPetStoreBI 工程 属性 设置 -2 








为 了 让 程序 能 够 顺利 地 运行 ， 最 后 还 需要 对 MySQL 数据 库 进 行 配 置 。 程 序 中 默认 提供 
的 数据 库 脚本 是 hsqldb 数据 库 的 ， 为 了 省 去 建立 MySQL 数据 库 脚本 的 时 间 ， 可 以 直接 从 附 
送 的 光盘 中 导入 本 章 的 MySQL 数据 库 脚 本 jpetstoreBL sql， 该 脚本 中 还 包含 了 一 部 分 新 加 入 
的 商品 初始 化 数据 。 

最 后 ， 对 项 目 中 WEB-INF 目录 下 的 applicationContext. xml 文件 进 
据 源 的 工作 ， 配 置 MySQL 数据 源 的 代码 如 代码 清单 6-2 所 示 。 

【代码 清单 6-2]】 

将 如 下 配置 段 : 


行 修改 ， 完 成 配置 数 


<jdbc:embedded - database id = " dataSource" > 
<jdbc:script location = " classpath ; database/jpetstore — hsqldb — schema. sql"/ > 
<jdbc:script location = " classpath ; database/jpetstore — hsqldb — dataload. sql" / > 
< /jdbe : embedded - database > 
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替换 为 . 


< bean id = " dataSource" 
class = " org. springframework. jdbc. datasource. DriverManagerDataSource" > 
< property name = " driverClassName" value = " com. mysql. jdbc. Driver" / > 
< property name = "url" value = " jdbc : mysql ://localhost : 3306/jpetstorebi" / > 
< property name = " username" value = " root" / > 
< property name = " password" value 2"1234"/ > 
« / bean > 


其 中 jpetstorebi 是 MySQL 数据 库 中 对 应 JPetStoreBI 工程 的 数据 库 实 例 名 称 。Root 和 
1234 请 分 别 为 本 地 数据 库 中 配置 的 用 户 名 和 密码 。 

右键 单 击 JPetStoreBI 项 目 ， 单 击 Run as 一 Run on Server， 选 择 Tomcat 服务 器 后 单 击 Fin- 
ish 按钮 。 默 认 的 宠物 商店 地 址 为 http ://localhost: 8080/JPetStoreBI/, MÆ Hj JP nT VÀ 直接 访 
问 http ://localhost : 8081/JPetStoreBI/actions/Catalog. action 来 打开 真正 的 JPetStoreBI 主 界面 
( 见 图 6-9) 。 
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图 6-9  JPetStoreBI 网 站 访问 效果 
如 果 读 者 可 以 看 到 上 图 中 的 界面 ， 那 么 祝贺 您 ， 您 的 工程 已 经 配置 成 功 了 1 
6.3.2 Apriori 算法 在 商品 推荐 功能 中 的 程序 实现 


下 面 将 进入 本 节 的 核心 Apriori 算法 的 程序 设计 部 分 。 但 在 利用 Apriori 算法 完成 程序 前 , 
首先 需要 了 解 JPeiStore 中 订单 数据 是 如 何 存储 的 ， 这 是 我 们 完成 后 续 工 作 的 基础 。 
JPetStore 中 的 商品 订单 使 用 了 非常 典型 的 订单 设计 ， 分 为 订单 主 表 Orders 和 订单 明细 表 
Lineitem。 它 们 的 数据 库 结 构 如 图 6-10 Brzn 
由 上 图 可 以 看 出 订单 主 表 Order 主要 由 订单 号 orderld 和 一 些 基础 订单 信息 组 成 ， 而 订 
单 明 细 表 Lineltem 主要 由 订单 号 orderld、 订 单 明 细 号 linenum、 商 品 号 itemid、 购 买 数 量 
Quantity, 、 单 价 unitprice 组 成 。 相 信 读 者 会 发 现 订单 明 细 表 Lineltem 很 像 6. 2. 2 节 中 提 到 的 
顾客 购物 清单 ， 而 唯一 的 区 别 则 是 JPetStoreBI 数据 库 中 的 一 个 订单 是 由 多 行 Lineltem 记录 构 
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Field Name Field Type Size Precision Not Null Default 

B Ei INTEGER 11 0 Null 

Æ [userid VARCHAR|80 |O [g] [Nui 

EB | orderdate DATE 0 jo [y] [Nui 

EH | shipaddr1 VARCHAR|80 |0 W) [Nui 

&& |shipaddr2 VARCHAR 80 |0 E |Null 

围 |shipcity YARCHAR 80 |0 [V] (Nui 

E |shipstate VARCHAR|B0 |0 [y] (Nui 

E |shipzip VARCHAR|20 |0 Null 

E|shipeountry — |VARCHAR 20 |0 [7] (Nul 

£ |billaddr1 VARCHAR|80 |0 [V] (Nui 

E [biladdr2 VARCHAR BO 9 Null Field Type Size Precision NotNull ^ Default 
E |billcity VARCHAR|B0 |0 [V] [Nui NTEGER 11 

E |billstate VARCHAR|B0 |0 [V] (Nui linenürm 

E nilzip MARAR AR. D E wa temid |VARCHAR|10 |0 | [Nun 
&B |billeountry VARCHAR|20 |0 F) (Nui - 

5 | courier VARCHAR|80 |0 [v | [Null To PERS |n E | [Nun 
EH | tatalprice DECIMAL |10 |2 W] [Nul ipeo DECHAC 四 e | [nun 
E |biltofirstname |VARCHAR|80 |0 i Null b) Lineitem 表 结构 

E |biltolastname |VARCHAR|80 |0 M] (Nun 

E |shiptofirstname |VARCHAR 80 |0 贺 [Nui 

E |shiptolastname |VARCHAR 80 |0 [7] (Nui 

&&B | creditcard VARCHAR|B0 |0 W) |Null 

E | exprdate VARCHAR|7  |0 [v] (Nui 

E | cardtype VARCHAR|80 |0 [V] (Nui 

E locale VARCHAR|B0 |0 [y] [Nui 



































a) Orders 表 结构 


6-10 Orders 和 Lineitem 数据 库 表 结构 





成 的 ， 而 顾客 购物 清单 则 只 是 一 条 记录 ， 因 此 锁定 Lineltem 表 为 本 次 商品 关联 度数 据 分 析 的 
对 象 。 

在 实际 的 业务 中 ， 商 品 的 订单 数据 量 可 能 会 非常 庞大 。 因 此 ， 在 每 次 顾客 选 购 商品 时 利 
用 Apriori 算法 进行 实时 的 数据 挖掘 是 不 现实 的 ， 开 发 人 员 一 般 会 通过 定时 任务 执行 的 方式 
对 后 台 的 商品 关联 结果 (HI Apriori 算法 中 的 商品 频繁 项 集 ) 进行 数据 更 新 。 这 里 ,需要 新 
建 一 个 表 Relationship 来 存储 该 计算 结果 。 并 且 ， 为 了 今后 商品 查询 的 简便 性 ， 在 该 表 中 只 
使 用 一 个 长 度 为 1000 的 VARCHAR 字段 Relation 来 记录 各 关联 商品 的 itemid 集合 ， 不 同 
itemid 间 使 用 “,” 进 行 分 割 。 

在 上 述 环境 准备 完毕 后 ， 就 可 以 开始 进行 实际 代码 的 编写 了 。 这 里 假定 读者 对 MVC IS. 
想 、Spring 框架 和 MyBatis 持久 化 工具 已 经 有 了 基本 的 了 解 ， 后 面 将 不 会 涉及 相关 工具 的 具 
体 介 绍 ， 请 读者 自行 学 习 。 

(1) 对 JPetStore 主 界面 的 调整 

为 了 更 好 地 进行 演示 ， 在 本 例 中 不 会 使 用 后 台 定时 程序 完成 商品 频繁 项 集 的 计算 ， 而 是 
通过 在 主 界面 Main. jsp 上 单 击 按钮 的 方式 来 生成 分 析 结 果 。Main. jsp 文件 的 位 置 在 WEB - 
INF \ jsp \ catalog 目录 下 。 为 了 在 界面 上 能 够 根据 用 户 自 定义 的 支持 度 来 生成 商品 频繁 项 
集 ， 需 要 复制 如 下 代码 ( 见 代 码 清 单 6-3) 并 置 于 Main. jsp 中 id 为 SidebarContent 的 Div 容 
器 中 的 尾部 。 
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【代码 清单 6-3】 


< div id = " DataMiningOrderRelationsDiv" > 

< stripes : form beanclass = " org. mybatis. jpetstore. web. actions. DataMiningActionBean" > 

< div > minimum Support( % ) ; < /div > 

< stripes :text name = " minSupport" size = "14" value ="0.2"/ > 

< stripes : submit name = " DataMiningOrderRelations" value = " Find Interested Products!" / > 
< /stripes : form > 

«/div » 

< div id = " ResultDiv" > 

< stripes :form beanclass = " org. mybatis. jpetstore. web. actions. DataMiningActionBean" > 

< div > Result; «/div > < stripes : textarea name = " resultStr" style = " width :;600px ; height: 150px" / > 
< /stripes : form > 

« /div > 

« /div > 


在 上 述 代 码 的 第 一 个 form 中 可 以 看 到 beanclass = " org. mybatis. jpetstore. web. actions. 
DataMiningActionBean" 的 代码 段 ，org. mybatis. jpetstore. web. actions. DataMiningActionBean 即 
程序 中 生成 商品 频繁 项 集 将 要 调用 的 后 台 服 务 类 名 form 中 submit 按钮 的 name 属性 值 Dat- 
aMiningOrderRelations 即 为 需要 调用 的 业务 方法 名 称 。 第 二 个 form 的 作用 则 是 显示 上 述 方法 
调用 的 结果 反馈 信息 。 

(2) 后 台 DataMiningActionBean 和 DataMiningService 的 处 理 程序 

在 界面 调整 完毕 后 就 需要 完成 后 台 的 业务 处 理 程序 逻辑 。 下 面 将 要 建立 DataMiningAc- 
tionBean 来 接收 前 端 Main. jsp 界面 传 来 的 请 求 ， 并 调用 后 台 的 DataMiningService 以 完成 实际 
的 业务 处 理 。 DataMiningActionBean 类 的 代码 如 代码 清单 6-4 所 示 。 

【代码 清单 6-4]】 



























































package org. mybatis. jpetstore. web. actions; 

import net. sourceforge. stripes. action. ForwardResolution ; 
import net. sourceforge. stripes. action. Resolution; 

import net. sourceforge. stripes. action. SessionScope; 

import net. sourceforge. stripes. integration. spring. SpringBean; 


import org. mybatis. jpetstore. service. DataMiningService ; 


@ SessionScope 


public class DataMiningActionBean extends AbstractActionBean | 


private static final String MAIN = "/WEB - INF/jsp/catalog/ Main. jsp" ; ; 
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@ SpringBean 


private DataMiningService dataMiningService; 
private String resultStr; 
private String minSupport ; 


public void setMinSupport( String minSupport) | 
this. minSupport = minSupport ; 


| 


publie String getMinSupport( ) | 


return minSupport ; 


| 


public void setResultStr( String resultStr) | 
this. resultStr = resultStr; 


| 


public String getResultStr( ) | 


return resultStr; 


| 


public Resolution DataMiningOrderRelations( ) | 
dataMiningService. setMinSupport ( minSupport ) ; 
dataMiningService. DataMiningOrderRelations( ) ; 
resultStr = dataMiningService. getResultStr( ) ; 
return new ForwardResolution( MAIN) ; 


| 


从 上 述 代码 中 可 以 发 现 DataMiningActionBean 只 负责 完成 参数 传递 和 界面 跳 转 的 功能 ， 
它 仅 将 最 小 支持 度 minSupport 传递 给 后 台 DataMiningService， 并 调用 dataMiningSer- 
vice. DataMiningOrderRelations 方法 完成 真正 的 商品 频繁 项 集 生成 操作 ， 最 后 将 调用 结果 re- 
sultStr 返回 给 前 端 界 面 。DataMiningService 的 代码 如 代码 清单 6-5 所 示 。 

【代码 清单 6-5】 









































package org. mybatis. jpetstore. service; 


import java. util. ArrayList; 
import java. util. Iterator; 


import java. util. List; 
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import org. mybatis. jpetstore. domain. Item; 

import org. mybatis. jpetstore. domain. Relationship; 

import org. mybatis. jpetstore. persistence. ItemMapper; 

import org. mybatis. jpetstore. persistence. OrderMapper; 

import org. mybatis. jpetstore. persistence. RelationshipMapper ; 
import org. springframework. beans. factory. annotation. Autowired ; 


import org. springframework. stereotype. Service; 


@ Service 
publie class DataMiningService | 
@ Autowired 
private ItemMapper itemMapper ; 
@ Autowired 
private OrderMapper orderMapper; 
@ Autowired 
private RelationshipMapper relationshipMapper ; 


private String resultStr =" " ; 


private float minSupport ; 





/ 米 米 
* 返回 商品 频繁 项 集结 果 
* (9 return 
*/ 


public String getResultStr( ) | 


return resultStr; 


| 


/ x 

* 设置 最 小 支持 度 

* @ param minSupport 

* @ return 

*/ 
public void setMinSupport( String minSupport) | 
this. minSupport = Float. parseFloat( minSupport ) ; 


| 


/** 
* 获得 商品 频繁 项 集 的 主 函数 
*/ 
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public void DataMiningOrderRelations( ) | 
resultStr = "" ; 

relationshipMapper. deleteAllRelationships( ) ; 
long startTime = System. currentTimeMillis( ) ; 


// 构造 频繁 1 项 集 el 
List < ArrayList < String »» 11 = new ArrayList < ArrayList < String >> () ; 





Am 


List < Item > itemList = itemMapper. getItemList( ) ; 
Iterator < Item > items = itemList. iterator( ) ; 
while (items. hasNext( ) ) | 
ArrayList < String > itemSet = new ArrayList < String > ( ) ; 
itemSet. add( ( items. next( ). getItemId( ) ) ) ; 
l1. add( itemSet ) ; 
| 
List < ArrayList < String >> ln 211; 
int 1i 22; 
do | 
In = dataMiningByApriori( In) ; 
In = checkSupport( 1n) ; 
if (In. size( ) 20) 
writeResult(In, i); 
i++; 
} while (In. size() ! 20) ; 
long endTime = System. currentTimeMillis( ) ; 
resultStr + =" 共 用时:" + (endTime — startTime) +" ms" ; 


System. out. printIn( resultStr) ; 


| 


E 
* 利用 dataMiningByApriori 方法 由 k- 1 商品 项 集 生成 k 商品 项 集 


* @ param initialList 

















* (9 return 
*/ 
List < ArrayList < String >> dataMiningByApriori ( 
List < ArrayList < String >> initialList) | 
List < ArrayList < String >> result = new ArrayList < ArrayList < String >> () ; 
int preSetSize = initialList. size( ) ; 
for (int i20; i «preSetSize — 1; i++) | 
for (int j =i+1; j « preSetSize; j++) | 
String[ ] strAl = initialList. get(1). toArray( new String[ 0] ) ; 
String[ ] strA2 = initialList. get(j). toArray( new String[ 0 | ); 
/判断 两 个 k = 1 项 集 是 否 符合 连接 成 k 项 集 的 条 件 
if (isCanLink(strA1 ，strA2) ) | 
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ArrayList < String > arr = new ArrayList < String > ( ) ; 
for (String str : strA1) | 
arr. add( str) ; 
} 
arr. add( (String) strA2[ strA2. length — 1]); // 连接 成 k 项 集 
// FI k 项 集 是 否 需要 剪 切 掉 , 如 果 不 需要 被 剪 切 掉 , 则 加 入 到 k 项 集 列表 中 
if (| isNeedCut(initialList，arr) ) | 


result. add ( arr ) ; 











| 


return result ; 


| 


/ so 
* 获得 候选 商品 N 项 集 setList 中 满足 minSupport 的 频繁 项 集 列 表 


* @ param setList 














* (9 return 
*/ 
List < ArrayList < String > > checkSupport( List < ArrayList < String > > setList) | 
List < ArrayList < String >> result = new ArrayList < ArrayList < String >> ( ) ; 
Iterator < ArrayList < String > > items = setList. iterator( ) ; 
while (items. hasNext( ) ) | 
ArrayList < String > currentItemSet = items. next( ) ; 
int orderNum = orderMapper. getOrdersNumByltemList ( currentItemSet , 
currentItemSet. size( ) ) ; 
if (orderNum > = Math. round ( minSupport * orderMapper. getTotalOrderCount( ) ) | 


result. add ( currentItemSet ) ; 


| 


return result ; 


| 





P. 
* 判断 两 个 项 集合 能 和 否 执行 连接 操作 
* 


* @ param sl 
* @ param s2 
* (9 return 


*/ 
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boolean isCanLink(String| ] s1, String[ ] s2) | 
boolean flag = true; 
if (s1. length == s2. length) | 
for (inti20; i«sl.length — 1; i++) | 
if (! sl[i].equals(s2[i])) | 
flag = false; 
break; 


| 
if (sl[sl.length - 1]. equals(s2[s2. length - 1])) | 
flag = false; 
| 
| else | 
flag = false; 
| 


return flag; 


| 


J ER 
* 判断 set ETR EHDI 
* 


* @ param setList 
* (9 param set 
* (9 return 
*/ 
boolean isNeedCut( List < ArrayList < String > > setList, ArrayList < String > set) | 
boolean flag = false; 
List < ArrayList < String >> subSets = getSubset(set) ; // 获得 kk 项 集 的 所 有 上 k —1 项 集 
for ( ArrayList < String > subSet : subSets) | 
// 判断 当前 的 k — 1 项 集 set 是 否 在 频繁 k -1 项 集中 出 现 ,如 出 现 , 则 不 需要 剪 切 
// 看 没有 出 现 , 则 需要 被 剪 切 
if (! isContained(setList, subSet) ) | 








flag = true; 
break ; 


| 


return flag; 


| 








Jf due 
* 判断 项 集 的 某 k — 1 项 集 是 否 包 含 在 频繁 k -1 项 集 列表 中 
* 
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* (9 param setList 
* (9 param set 
* (9 return 
*/ 
boolean isContained( List < ArrayList < String > > setList, ArrayList < String > set) | 
boolean flag = false; 
int position 20; 
for ( ArrayList < String >s ; setList) | 
String[ ] sArr = s. toArray( new String[ 0]) ; 
String[ ] setArr = set. toArray( new String[ 0]) ; 
for (inti 20; i «sArr. length; i++) | 
if (sArr[ i]. equals(setArr[1]) ) | 
// 如 果 对 应 位 置 的 元 素 相同 , 则 position 为 当前 位 置 的 值 


position =1; 


























| else | 


break; 


| 

// 如 果 position 等 于 了 数组 的 长 度 ,说 明 已 找到 某 个 setList 中 的 集合 与 
// set 集合 相同 了 ,退出 循环 ,返回 包含 

// 否则 ,把 position 置 为 0 进入 下 一 个 比较 

if ( position == sArr. length — 1) | 











flag = true; 
break ; 
| else | 


flag = false; 


position 20; 


| 


return flag; 


| 


f Ses 





Iun 


获得 k 项 集 的 所 有 上 -1 项 集 


* 


* 
* (9 param set 
* (9 return 
*/ 
List < ArrayList < String > > getSubset( ArrayList < String > set) | 
List < ArrayList < String >> result = new ArrayList < ArrayList < String >> ( ) ; 
String[ ] setArr = set. toArray( new String[ 01) ; 


- 


KA 


ori 算法 理论 ， 首 先 通过 itemMapper. getltemList 方法 得 到 所 有 商品 的 信息 并 构造 频繁 1 项 集 
1, 
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for (int i20; i «setArr. length; i++) | 
ArrayList < String > subSet = new ArrayList < String > ( ) ; 
for (int j 20; j «setArr. length; j++) | 
if (112) | 
subSet. add( (String) setArr[j]); 


| 
result. add ( subSet ) ; 
} 


return result; 


| 


/ kk 
* 将 商品 频繁 项 集 分 析 结 果 存 储 于 Relationship 表 中 


* @ param setList 





* (9 param i 
* (9 return 
*/ 


void writeResult( List < ArrayList < String >> setList, int i) | 





resultStr + =" 频 繁 " +i+" 项 集 : dE" + setList. size( ) - "Ji; Wn" ; 


for ( ArrayList < String > set ; setList) | 
String list 2 "" ; 
for (String str : set) | 
list = St ,"; 
resultStr + =str +" "; 
| 
Relationship r = new Relationship( list) ; 
relationshipMapper. insertRelationShip( r) ; 


resultStr + =", "; 


} 
resultStr + =" \n"; 
} 

| 








在 上 述 代码 中 ，DataMiningOrderRelations 方法 是 获得 商品 频繁 项 集 的 主 函数 。 根 据 Apri- 








un 

















之 后 将 11 代入 dataMiningByApriori PIA PHT, 2EXSEREUCRE SUB GST XE A AR UETT 























(ut 


最 小 文 持 度 分 析 ， 通 过 checkSupport 方法 返回 满足 最 小 支持 度 的 频繁 N 项 集 ， 直 到 当 In 的 



































表 中 。 





重点 
Li 











这 里 还 要 对 程序 中 用 到 的 部 分 数据 库 映 射 代码 做 进一步 的 配置 ， 由 于 这 部 分 不 
， 读 者 只 需要 从 表 6-5 中 创建 相关 文件 或 代码 段 到 文件 的 对 应 位 置 即 可 。 
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等 于 0 时 结束 迭代 ， 并 最 终 通过 writeResult 方法 返回 计算 结果 并 写 入 Relationship 数据 


- E 
结果 j 


文件 名 
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表 6-5 数据 库 映射 配置 代码 表 
添加 的 代码 





ItemMapper. java 


List < Item > getItemList( ) ; 





TtemMapper. xml 


< select id = " getltemList" parameterType = " string" resultType = " item" > 
SELECT 
I. ITEMID, 
LISTPRICE, 
UNITCOST, 
SUPPLIER AS supplierld, 
I. PRODUCTID AS " product. productId" , 
NAME AS "product. name" , 
DESCN AS " product. description" , 
CATEGORY AS " product. categoryld" , 
STATUS, 
ATTRI AS attributel , 
ATTR2 AS attribute2 , 
ATTR3 AS attribute3 , 
ATTRA AS attributed , 
ATTRS AS attribute 
FROM ITEM I, PRODUCT P 
WHERE P. PRODUCTID - I. PRODUCTID 
« /select > 





OrderMapper. java 


int getTotalOrderCount( ) ; 


int getOrdersNumByltemList ( @ Param( " itemIds" ) ArrayList < String > itemlds ,  Param( " num" ) 


int num ) ; 





OrderMapper. xml 


< select id = " getTotalOrderCount" resultType = "int" > 
select count( * ) from Orders 
« /select > 
< select id = " getOrdersNumByltemList" resultType = "int" > 
select count( * ) 
from ( 
select orderid, count( * ) 
FROM ( 
select distinct orderid , itemid from lineitem where itemid in 
< foreach item = " itemIds" collection = " itemIds" 
open 2"(" separator =" ," close=")" > 
3t | itemlds | 
« /foreach » 
)t 
group by orderid having count( * ) 2 | num} 
)tl 
< /select > 





RelationshipMapper. java 
(新 增 ) 





package org. mybatis. jpetstore. persistence ; 

import java. util. List ; 

import org. mybatis. jpetstore. domain. Relationship; 

public interface RelationshipMapper | 
List < Relationship > getRelationsByltemld( String itemld) ; 
void insertRelationShip( Relationship relation) ; 


void deleteAllRelationships( ) ; 
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文件 名 添加 的 代码 





<? xml version 2" 1. 0" encoding ="UTF -8"? > 
«| DOCTYPE mapper PUBLIC " — //mybatis. org//DTD Mapper 3. 0//EN" 
http ;// mybatis. org/dtd/mybatis -3 — mapper. dtd" > 
< mapper namespace = " org. mybatis. jpetstore. persistence. RelationshipMapper" > 
« cache / » 
< select id = " getRelationsByltemld" parameterType = " String" resultType = " Relationship" > 
SELECT * FROM relationship WHERE relation like £ | itemid | 


RelationshipMapper. xml « /select > 
(新 增 ) < insert id = " insertRelationShip" parameterType = " Relationship" > 


insert into relationship ( relation ) 
values( &| relation] ) 
« /insert > 
< delete id = " deleteAllRelationships" > 
delete from Relationship 
« / delete > 
< / mapper > 





package org. mybatis. jpetstore. domain ; 

import java. io. Serializable ; 

public class Relationship implements Serializable | 
private String relation; 


public Relationship( ) | 


public Relationship( String relation) | 
Relationship. java this. relation = relation ; 

(新 增 ) | 
public void setRelation( String relation) | 


this. relation = relation ; 





public String getRelation( ) | 


return relation ; 


1 
j 





mybatis — config. xml < typeAlias alias = " relationship" type = " org. mybatis. jpetstore. domain. Relationship" / > 











上 述 代 码 配置 ， 使 用 Apriori 算法 进行 的 程序 主体 工作 已 经 完成 ,页面 的 显示 效果 如 图 
6-11 所 示 。 











| JPetStore 


Demo 





Fish | Dogs | Reptiles | Cats | Birds. 
Fish 
Saltwater, Freshwater 
Dogs 


Various Breeds 
Cats 


Various Breeds, Exotic Varieties 
Reptiles 

Lizards, Turtles, Snakes 

Birds 

Exotic Varieties 


minimum Support(?6): 


02 Find Interested Products! 


Result 











图 6-11 使 用 Apriori 算法 修改 后 的 网 站 效果 
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虽然 宠物 商店 商品 频繁 项 集 的 生成 程序 已 经 完成 ,但 是 在 没有 实际 的 订单 业务 数据 的 情 
况 下 ， 如 何 才能 验证 程序 的 准确 性 呢 ? 另外 ， 怎 样 才能 测试 不 同 订单 数据 量 下 程序 的 运行 效 
率 ? 开发 一 个 商品 销售 记录 生成 程序 就 能 解决 这 些 问 是 。 
6.3.3 ”宠物 商店 商品 销售 记录 测试 数据 准备 

就 像 某 些 程序 需要 准备 测试 数据 一 样 ， 宠 物 商店 也 需要 商品 销售 记录 测试 数据 的 生成 程 
序 。 在 开发 前 ， 首 先 要 明确 生成 的 销售 记录 要 满足 一 定 的 业务 要 求 ， 即 各 种 商品 组 合 下 需要 
满足 的 支持 度 ， 这 样 在 利用 Apriori 算法 程序 进行 数据 分 析 之 后 才能 验证 其 准确 性 。 那 么 如 
Mies 

面 是 笔者 的 思考 过 程 : 

为 了 使 每 次 的 分 析 过 程 准 确 ， 首 先 需要 清除 数据 库 中 所 有 已 存在 的 商品 订单 。 

2) 确定 生成 的 订单 样本 数 和 支持 度 并 生成 满足 最 小 支持 度数 量 要求 的 样本 订单 。 

3) 随机 生成 满足 订单 总 数 的 所 有 样本 订单 ， 并 对 所 有 订单 (包括 第 二 步 生成 的 ) 都 生 
成 一 些 随机 商品 。 

这 里 假设 生成 的 商品 订单 应 满足 以 下 数据 要 求 : 
1) 样本 总 数 为 100 条 订单 
2) 商品 组 合 的 文 持 度 满 足 如 表 6-6 所 示 的 要 求 。 


表 6-6 商品 支持 度 要 求 表 















































商品 组 合 需 满足 的 支持 度 
fa (EST -20) 、 鱼 食 (EST -44) 3096 
f& (EST-21), AR (EST -43) 、 鱼 仙 (EST -42) 1596 
É (EST-18), &fr (EST-32), 55E (EST -30) 2596 
猫 粮 (EST -34) 、 猫 砂 (EST-35) 2096 
狗 (EST -25) Jig (EST -39) 20% 








下 面 开始 完成 代码 的 编写 ， 首 先是 界面 部 分 ,我们 仍然 使 用 Main. jsp 来 显示 订单 数据 
的 生成 界面 ， 增 加 的 代码 如 代码 清单 6-6 所 示 。 且 需要 放 在 新 增 的 DataMiningOrderRelations- 
Div 之 前 。 

【代码 清单 6-6]】 











< div id = " GeneratingOrdersDiv" > 
< stripes : form beanclass = " org. mybatis. jpetstore. web. actions. DataMiningActionBean" > 
< div > initial data; «/div > < stripes : textarea name = " initDataStr" style = " width ;300px ; height ; 100px" 
value = " EST - 20; EST - 44 :0. 3, EST - 21; EST -43 :EST - 42:0. 15 , EST -32 : EST -30 :0. 25, 
EST - 18: EST -32 : EST -30 :0. 25, EST - 34: EST - 35:0. 2, EST - 1; EST - 2:0. 2"/ > 


< div > expect amount; «/div > «stripes:text name = " amount" size =" 14" value 2 "100" /> 








< stripes : submit name = " generatingOrders" value = " Generating Orders" / > 
< /stripes : form > 
</div > 
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上 述 代码 中 ，initDataStr 是 商品 组 合 及 文 持 度 的 初始 化 数据 ，amount 是 订单 样本 总 数 。 
在 initDataStr 中 不 同 的 商品 组 合 之 间 用 “,” 分 开 ， 同 一 组 合 的 每 种 商品 使 用 “:” 分 开 ， 
且 最 后 一 个 “:” 后 是 支持 度数 据 ， 相 关 数 据 可 在 运行 时 再 进行 调整 。 同 样 的 ， 后 台 对 应 的 
Action 类 是 org. mybatis. jpetstore. web. actions. DataMiningActionBean ， 方 法 名 为 generatingOrde- 
rs 〈 提 示 : 如 果 没 有 发 现 相 关 的 商品 初始 化 数据 ， 请 通过 jpetstoreBL. sql 进行 导入 )，Dat- 
aMiningActionBean 类 的 处 理 代码 如 代码 清单 6-7 所 示 。 

【代码 清单 6-7】 



























































private String amount; 
private String initDataStr; 
private String| ]| ] initData; 


public String getInitDataStr( ) | 


return initDataStr; 


| 


public void setInitDataStr( String initDataStr) | 
this. initDataStr = initDataStr; 


| 


public String getAmount( ) | 
return amount ; 


| 


public void setAmount( String amount) | 


this. amount = amount ; 


| 


public Resolution generatingOrders( ) | 
String[ ] lineData = initDataStr. split(" ,") ; 
initData = new String| lineData. length ] | ] ; 
for (int i 20; i< lineData. length; i ++ ) 
initData[ i] = lineData[ i]. split(" :") ; 
dataMiningService. clearOrders( ) ; /清除 所 有 商品 订 语 


HttpSession session = context. getRequest( ). getSession( ) ; 


T 





AccountActionBean accountBean = ( AccountActionBean) session 
. getAttribute( " /actions/ Account. action" ) ; 
if ( accountBean == null || ! accountBean. isAuthenticated( ) ) | 
setMessage ( " You must sign on before attempting to generator orders. Please sign on and try 
checking out again. " ) ; 


return new ForwardResolution ( AccountActionBean. class ) ; 
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Account acc = accountBean. getAccount( ) ; 

dataMiningService. setAccountInfo( acc) ; 

dataMiningService. GeneratingOrders( initData, amount) ; // 生 成 商品 订单 
resultStr = "Thank you, " + amount +" records has been loaded. " ; 


return new ForwardResolution( MAIN) ; 





在 代码 清单 6-7 中 ，generatingOrders 为 生成 订单 的 入 口 函 数 ， 它 只 需要 把 用 户 信息 acc , 
订单 商品 组 合 及 支持 度 条 件 initData 和 订单 样本 总 数 信息 amount 传 给 服务 处 理 类 DataMining- 
Service 的 方法 GeneratingOrders 即 可 。DataMiningService 类 新 增 的 业务 逻辑 处 理 代 码 如 代码 清 
单 6-8 所 示 。 

【代码 清单 6-8]】 








@ Autowired 
private LineltemMapper lineltemMapper; 
@ Autowired 
private SequenceMapper sequenceMapper; 
private Account account ; 
/ ox 

* 设置 用 户 信息 


* 


























* @ param acc 用 户 信 息 
* (9retum 
*/ 

public void setAccountInfo( Account acc) | 


account = acc; 


| 























int maxNum = 100; /默认 最 大 订单 生成 数 
final int genDataBegin = 100000; // 自 动 生成 数据 的 起 始 订 单 号 
a 

* 生成 订单 主 函 数 

x 





* @ param initData 商品 组 合 及 支持 度 条 件 
* @ param amount 订单 样本 总 数 
* @ return 


*/ 








public void GeneratingOrders( String[ ][ ] initData, String amount) | 
if ( amount ! = null) 
maxNum = Integer. parseInt( amount) ; 


for(int i 20;i < initData. length ;i ++ ) | 
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String[ ] currentList = Arrays. copyOf( initData[ i] , initData[ i]. length — 1); 
float minSupport = Float. parseFloat( initData[ i ] [ initData| i]. length 2 1]) ; 
putData( currentList, minSupport ) ; 

} 

GenerateAllRandomOrders( ) ; 

} 





























/ kk 
* 生成 随机 订单 并 对 所 有 样本 订单 设置 随机 商品 
* 
* (9 return 
*/ 


private void GenerateAllRandomOrders( ) | 
// 得 到 宠物 商店 中 的 所 有 商品 
List < Item > itemList = itemMapper. getItemList( ) ; 
// 循 环 所 有 订单 ,为 每 个 订单 随机 设置 商品 
for(int orderld = genDataBegin ; orderld < maxNum + genDataBegin ; orderId ++ ) | 
// 当 前 订单 随机 生成 的 商品 数量 ,该 数量 在 1 和 6 之 间 
int currentRandomItemCount = new Random( ). nextInt(6) +1; 
System. out. println( "订单 号 :"  orderld +" 本 次 随机 商品 数 :" + currentRandomItemCount ) ; 
// 随 机 商品 列表 


String[ ] randomItemIdList = new String[ currentRandomItemCount ] ; 


























for(int i =0;i < currentRandomItemCount;i ++ ) | 
// 当 前 加 入 的 随机 商品 
Item randomltem = itemList. get( new Random( ). nextInt( itemList. size( ) ) ) ; 
randomItemlIdList[ i] = randomlItem. getItemId( ) ; 

| 


processOrder(randomItemIdList ,orderId ) ; 


/六 六 
* 清除 所 有 样本 订单 
* 
* @ return 
*/ 


public void clearOrders( ) | 
orderMapper. deleteAllOrders( ) ; 
orderMapper. deleteAllOrderStatus( ) ; 
lineItemMapper. delete AllLineItems( ) ; 
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/ ox 
* 生成 满足 支持 度 的 特定 商品 组 合 数据 
* @ param vStr 订单 组 合 
* (9 param supportRate 支持 度 
* (9retum 
*/ 
public void putData(String| ] vStr, float supportRate) | 
HashMap hmSelectOrders = new HashMap( ) ; 
while( hmSelectOrders. keySet( ). size( ) ! = Math. round( supportRate * maxNum) ) | 





int orderId = new Random( ). nextInt( mxxNum) + genDataBegin; 
if( |! hmSelectOrders. keySet( ). contains( orderlId) ) | 
hmSelectOrders. put( orderld, ""); 
processOrder( vStr, orderld ) ; 


| 
| 


/ ook 
* 将 订单 号 为 orderld 的 订单 组 合 保存 
* 


* ( param itemIdList 订单 组 合 
* @ param orderld 订单 号 





* @ return 
*/ 
public void processOrder( String[ | itemIdList, int orderId) | 
if ( orderMapper. getOrder( orderld) == null) | 
Order order 2 new Order( ) ; 
order. initOrderWithAccount( account) ; 
order. setOrderld ( orderld ) ; 
orderMapper. insertOrder( order) ; 
orderMapper. insertOrderStatus ( order ) ; 
} 
for (int i 20; i « itemIdList. length; i++) | 
Lineltem litem = new Lineltem( ) ; 
litem. setItemId( itemIdList[ i] ) ; 
litem. setOrderlId ( orderld ) ; 
if (lineltemMapper. getLineltemsBylItemlId( litem) == null) | 
Lineltem lineltem = new Lineltem( ) ; 
lineltem. setLineNumber( getNextId ( " linenum" ) ) ; 
lineItem. setOrderlId( orderld ) ; 
lineltem. setItemId ( itemIdList| i] ) ; 


Item item = itemMapper. getItem( litem. getItemId( ) ) ; 
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lineltem. setUnitPrice( item. getListPrice( ) ) ; 
// 随机 生成 小 于 10 的 数量 
lineltem. setQuantity( new Random( ). nextInt( 10) ) ; 


lineltemMapper. insertLineItem( lineItem) ; 


| 
| 
/六 六 

* IRRA TN name 的 下 一 个 Sequence fË 

* 

* @ param name 

* @ return 

*/ 
publie int getNextId( String name) | 
Sequence sequence = new Sequence(name, -1); 
sequence = (Sequence) sequenceMapper. getSequence( sequence) ; 
if (sequence == null) | 

throw new RuntimeException ( 
"Error; A null sequence was returned from the database ( could not get next " + name 

+" sequence). ") ; 
| 
Sequence parameterObject = new Sequence( name, sequence. getNextId( ) +1); 
sequenceMapper. updateSequence ( parameterObject ) ; 


return sequence. getNextId( ) ; 


| 


上 述 代码 中 ， 方 法 GeneratingOrders 为 生成 样本 订单 的 主 函 数 ， 它 根据 商品 组 合 及 支持 
度 条 件 initData 来 调用 putData 方法 生成 满足 条 件 的 样本 订单 数据 ， 最 后 通过 GenerateAlIRan- 
domOrders 方法 生成 随机 订单 并 对 所 有 样本 订单 设置 随机 商品 。 

同样 的 ， 这 里 也 给 出 程序 中 需要 进行 配置 的 数据 库 映 射 代码 〈( 见 表 6-7) 。 





表 6-7 数据 库 映 射 配置 代码 表 
文件 名 添加 的 代码 





void deleteAllOrders( ) ; 


OrderMapper. java . 
void deleteAllOrderStatus( ) ; 





< delete id =" deleteAllOrders" > 
delete from Orders 

OrderMapper. xml d 

< delete id = " deleteAllOrderStatus" > 
delete from OrderStatus 


« / delete > 
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( 续 ) 


添加 的 代码 





LineltemMapper. java 


void deleteAllLineItems( ) ; 
Lineltem getLineItemsByItemld ( LineItem lineItem) ; 





LineItemMapper. xml 


< select id = " getLineltemsByltemId" parameterType = " lineltem"  resultType = " lineltem" > 
SELECT 
ORDERID, 
LINENUM AS lineNumber, 
ITEMID, 
QUANTITY, 
UNITPRICE 
FROM LINEITEM 
WHERE ORDERID = £| orderld | 
and itemld = # | itemId | 
« /select > 
< delete id = " deleteAllLineltems" parameterType = " order" > 
delete from LINEITEM 
« / delete » 





3B 
页 


Order. java 








后 , 














public void initOrderWithAccount( Account account) | 
username = account. getUsername( ) ; 
orderDate = new Date( ) ; 
shipToFirstName = account. getFirstName( ) ; 
shipToLastName = account. getLastName( ) ; 
shipAddressl = account. getAddressl ( ) ; 
shipAddress2 = account. getAddress2( ) ; 
shipCity = account. getCity( ) ; 
shipState = account. getState( ) ; 
shipZip = account. getZip( ) ; 
shipCountry = account. getCountry( ) ; 
billToFirstName = account. getFirstName( ) ; 
billToLastName = account. getLastName( ) ; 
billAddressl = account. getAddressl ( ) ; 
billAddress2 = account. getAddress2 ( ) ; 
billCity = account. getCity( ) ; 
billState 2 account. getState( ) ; 
billZip = account. getZip( ) ; 





billCountry = account. getCountry( ) ; 
totalPrice = new BigDecimal( "0" ) ; 
creditCard = "999 9999 9999 9999" ; 
expiryDate = " 12/03" ; 

cardType = " Visa" ; 

courier 2 " UPS" ; 

locale = "CA" ; 


status = "P" ; 


过 上 述 代 码 配 置 ， 我 们 已 经 可 以 进行 订单 数据 的 生成 了 ， 单 击 Generating Orders 按钮 
面 


的 显示 效果 如 图 6-12 所 示 。 
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6 JPetStore 


Search 
Demo E ES 





Welcome ABC! 


Fish 

Saltwater, Freshwater 
Dogs 

Various Breeds 
Cats 


Various Breeds, Exotic Varieties 
Reptiles 

Lizards, Turtles, Snakes 

Birds 

Exotic Varieties 


initial data: 
EST-20:EST-44:0.3,EST-21:EST- » 








E: 
30:0.25,EST-34:EST-35:0.2,EST- 
1:EST-2:0.2 











expect amount: 

100 Generating Orders 

minimum Support(?6): 

02 Find Interested Products! 

Result: 

Thank you, 100 records has been loaded. ^ 


Stay Fit. 
Walk Your Dog! 


图 6-12 增加 订单 数据 生成 功能 后 的 网 站 效果 


数据 生成 后 ， 单 击 Find Interested Products 按钮 就 可 以 生成 出 对 应 的 频繁 项 集 了 ,这 里 
使 用 的 默认 最 小 支持 度 参数 为 0.2， 单 击 Find Interested Products 按钮 后 的 效果 如 图 6- 13 
所 示 。 

6 JPetStore 





Fish | Dogs | Reptiles | Cats | Birds 
Fish 


Saltwater, Freshwater 





Various Breeds 

Cats 

Various Breeds, Exotic Varieties 
Reptiles 

Lizards, Turtles, Snakes 

Birds 

Exotic Varieties 

initial data 
EST-20:EST-44:0.3,EST-21:EST- - 
43:EST-42:0.15,EST-32:EST- 
30:0.25,EST-18:EST-32:EST- 
30:0.25,EST-34:EST-35:0.2,EST- 
1:EST-2:0.2 





expect amount: 








100 Generating Orders 

minimum Support(?6): 

02 Find Interested Products! 

Result: 

MRE: Re: : 


EST-18 EST-30 , EST-18 EST-32 , EST-20 EST-44 , EST-1 EST-2 , EST-30 
EST-32 , EST-34 EST-35 , 

频繁 3 项 集 : 共 1 项 : 

EST-18 EST-30 EST-32 , 

共用 时 : 46237ms 











图 6-13 订单 数据 生成 完毕 后 的 网 站 效果 
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从 Result 栏 中 ， 可 以 看 出 生成 的 频繁 项 集 和 之 前 设置 的 订单 初始 支持 度数 据 是 完全 吻合 
的 ，15% 的 频繁 项 集 没 有 被 显示 出 来 ， 20% ，25% ，30% 的 频繁 项 集 都 被 显示 出 来 了 ， 其 中 
只 有 EST-18 EST -30 EST -32 是 唯一 的 支持 度 大 于 2096 的 频繁 三 项 集 它 也 符合 之 前 的 
预期 。 

最 后 ， 为 了 完成 商品 推荐 功能 ， 还 要 对 订单 查看 页 面 ViewOrder. jsp 进行 修改 ， 这 里 添 
加 如 代码 清单 6-9 所 示 的 新 增 代码 到 table 标签 的 尾部 。 

【代码 清单 6-9]】 



























































«tir» 
«th align = " center" colspan = "2" > Thanks for purchase! You maybe interested in this? 
«/th» 
</tr> 
«tir» 
«th colspan 2 "2" » 
« table > 
ne 
«th > Item ID € /th > 
« th > Description « /th > 
</tr> 
< c:forEach var = "item" items =" $ | actionBean. relatedItemList | " > 
«tr» 
<td> < stripes; link 
beanclass = " org. mybatis. jpetstore. web. actions. CatalogActionBean" 
event = " viewltem" > 
< stripes; param name = " itemId" value =" $ | item. itemId] " /> 


$ | item. itemId| < stripes; link > 


</td> 

<td> 
$ | item. attributel | 
$ | item. attribute2 | 
$ | item. attribute3 | 
$ | item. attribute4 | 
$ | item. attribute5 | 
$ | item. product. name} 

</td> 

</tr> 


« /c:forEach > 
« /table > 
</th > 
«/r? 


增加 如 代码 清单 6-10 所 示 的 后 台 处 理 代 码 到 OrderActionBean. java, 
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【代码 清单 6-10】 


@ SpringBean 


private DataMiningService dataMiningService; 
private ArrayList < Item > relatedItemList ; 


public void setRelatedItemList ( ArrayList < Item > relatedItemList) | 
this. relatedItemList = relatedItemList ; 

| 

publie ArrayList < Item > getRelatedItemList( ) | 


return relatedItemList ; 


其 中 在 viewOrder 和 newOrder 方法 中 增加 如 下 代码 。 
relatedItemList = dataMiningService. getInterestedItems( order) ; 


DataMiningService. java 中 增加 getInterestedItems 方法 的 代码 如 代码 清单 6-11 所 示 。 
【代码 清单 6-11 】 





publie ArrayList < Item > getInterestedItems( Order order) | 
ArrayList < Item > itemResultList = new ArrayList < Item > ( ) ; 
HashMap < String, String > hmltems = new HashMap < String, String > ( ) ; 
// 循 环 每 个 订单 条 目 ,找到 相关 联 的 商品 


for (int i 20; i « order. getLineltems( ). size();i++) | 








List < Relationship > rList = relationshipMapper 
. getRelationsByItemId( " 96 " + order. getLineltems( ). get(i). getltemId( ) +",%"); 
if (rList. size( ) »0) | 
for (int j 20; j «rList. size( ); j++) | 
String[ ] items = rList. get( j). getRelation( ). split(" ,") ; 
for (int k 20; k < items. length; k++) | 
if (! hmltems. containsKey ( items[ k ] ) ) 


hmltems. put( items[ k] , "") ; 


| 
| 
// 去 掉 订 单 中 重复 的 商品 


for (int i 20; i< order. getLineltems( ). size( ) ; i++) | 





String itemId = order. getLineltems( ). get(i). getItemId( ) ; 
if( hmltems. containsKey ( itemId ) ) 


hmltems. remove( itemId ) ; 


198 


云 计算 在 数据 挖掘 中 的 应 用 第 6 党 


Object[ ] interestedltems; 
if ( hmItems. keySet( ). size( ) »0) | 
interestedItems = hmItems. keySet( ). toArray( ) ; 


for (int i 20; i « interestedItems. length; i++) | 


itemResultList. add ( itemMapper. getItem ( interestedItems[ i ]. toString( ) ) ) ; 


| 


return itemResultList ; 


现在 重新 启动 Tomcat 服务 器 ， 客 
































户 通过 宠物 商店 网 站 任意 购买 商品 后 系统 就 会 自动 向 








他 们 推荐 其 他 相关 的 商品 ， 效 果 如 图 6-14 所 示 。 
! JPetStore 





Demo 


$ | Sign Out| My A 


Ca] 





Fish | Dogs | Reptiles | Cats | Birds 


Order #123 2011/02/26 12:00:00 


Payment Details 
Card Type: 


Visa 


Card Number: 999 9999 9999 9999 * Fake number! 
Expiry Date (MM/YYYY) 12/03 

Billing Address 

First name: ABC 

Last name: XYX 

Address 1: 901 San Antonio Road 
Address 2: MS UCUP02-206 
City: Palo Alto 

State: CA 

Zip: 94303 

Country: USA 

Shipping Address 

First name: ABC 

Last name: XYX 

Address 1: 901 San Antonio Road 
Address 2: MS UCUPO02-206 
City: Palo Alto 

State: CA 

Zip: 94303 

Country: USA 

Courier: UPS 

Status: P 


Item ID Description 


Quantity Price Total Cost 


Return to Main Menu 


EST-18 Adult Male Amazon Parrot 2 $193.50 $387.00 
Total: $387.00 
Thanks for purchase! You maybe interested in this? 
Item ID Description 
EST-32 Birds food (Large Pack) Birds Product - food 
EST-30 Circular birdcage (red) Birds product - cage 











图 6-14 商品 推荐 网 站 效果 








6.3.4 单机 版 测试 效果 及 问题 











率 进行 测试 。 








HY 


通过 上 面 的 开发 目前 的 宠物 商店 已 经 有 了 一 个 完整 的 商品 推荐 功能 ， 下 面 对 它 的 运行 效 








利用 笔者 使 用 的 计算 机 ， 在 使 用 之 前 生成 的 100 条 订单 数据 并 且 设 置 最 小 支持 度 为 





20% 的 情况 下 ， 用 Apriori 算法 程序 查找 100 个 订单 的 频繁 项 集 的 结果 如 图 6-15 所 示 。 





199 


云 计 算 : 应 用 开发 实践 


F Problems a Tasks (E Properties (44 Servers f: Snippets us Progress | $s Debug] ~ Search| &£ Expi 








[omcat v6.0 Server at localhost [Apache Tomcat] C:\Program FilesWavaNjre6\binNavaw.exe (2011-2-26 下 午 03:16:49) 


m x | Ex EE[ETESJ 





MEUSE: Hem 

EST-18 EST-30 , EST-18 EST-32 , EST-20 EST-44 , EST-1 EST-2 , EST-30 EST-32 , EST-34 EST-35 , 
MEAE: Hu: 

EST-18 EST-30 EST-32 , 

共用 时 : 55857ms| 

4 " ] 


图 6-15 频繁 项 集 执行 效果 (100 条 订单 ) 


接 下 来 修改 商品 订单 总 数 为 10000 后 再 次 生成 订单 ， 最 小 支持 度 仍 为 20% JH Apriori 
算法 程序 查找 频繁 项 集 的 耗 时 结果 如 图 6-16 所 示 。 


E Problems A Tasks | Ed Propertie | Hh Servers | [Œ Snippets | 是 Console 33、 u Progress | $% Debug | ~ Search| €f Ex 
Tomcat v6.0 Server at localhost [Apache Tomcat] C:\Program Files\Java\jre6\bin\javaw.exe (2011-2-26 ^r03:16:49) 


m x | aee] 
频 惑 2 项 集 : Hem: 


EST-18 EST-30 , EST-18 EST-32 , EST-20 EST-44 , EST-1 EST-2 , EST-30 EST-32 , EST-34 EST-35 
频繁 3 项 集 : Hug: 

EST-18 EST-30 EST-32 , 

共用 时 : 837688ms 


1 






































图 6-16 频繁 项 集 执行 效果 (10000 条 订单 ) 





从 上 面 的 测试 结果 可 以 发 现 以 不 同 的 数量 级 增 大 订单 样本 数 ， 对 计算 机 的 运算 影响 是 很 
大 的 ， 在 实际 业务 量 很 大 的 情况 下 ， 有 可 能 是 超市 多 个 子 公司 几 年 的 数 以 百 万 甚至 千 万 计 的 
数据 量 ， 使 用 传统 的 方法 进行 计算 显然 是 不 能 满足 业务 需求 的 。 





6.4 使 用 云 数 据 库 进行 计算 


在 上 面 的 例子 中 ， 我 们 通过 使 用 MySQL 数据 库存 储 数据 ， 并 在 Tomcat V HII e as Pi 
算 最 终 的 产品 相关 性 结 

但 事实 上 ， 像 MySQL 这 样 的 数据 库 更 加 适合 作为 联机 事务 处 理 (On-Line Transaction 
Processing, EK OLTP) 系统 ， 也 称 为 面向 交易 的 处 理 系 统 。 其 基本 特征 是 顾客 的 原始 数据 
可 以 立即 传送 到 计算 中 心 进 行 处 理 ， 并 在 很 短 的 时 间 内 给 出 处 理 结果 。 而 像 产品 相关 性 分 析 
这 样 需要 处 理 大 数据 量 的 操作 ， 一 般 称 其 为 联机 分 析 处 理 (On - Line Analytical Processing, 
简称 OLAP) 。 

联机 分 析 处 理 的 概念 最 早 由 关系 数据 库 之 父 E. F. Codd 于 1993 年 提出 的 。Codd 认为 联 
机 事务 处 理 (OLTP) 已 不 能 满足 终端 用 户 对 数据 库 查询 分 析 的 要 求 ，SQL 对 大 数据 库 的 简 
单 查 询 也 不 能 满足 用 户 分 析 的 需求 。 用 户 的 决策 分 析 需 要 对 关系 数据 库 进 行 大 量 计算 才能 得 
到 结果 ， 而 查询 的 结果 并 不 能 满足 决策 者 提出 的 需求 。 因 此 ，Codd 提出 了 多 维 数据 库 和 多 
维 分 析 的 概念 ， 即 OLAP, 

OLAP 委员 会 对 联机 分 析 处 理 的 定义 是 : 使 分 析 人 员 、 管 理 人 员 或 执行 人 员 能 够 从 多 种 
角度 对 从 原始 数据 中 转化 出 来 的 、 能 够 真正 为 用 户 所 理解 的 、 并 真实 反映 企业 维特 性 的 信息 
进行 快速 、 一 致 、 交 互 地 存 取 ， 从 而 获得 对 数据 的 更 深入 了 解 的 一 类 软件 技术 。 
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在 前 面 的 章节 中 我 们 提 到 了 HBase 这 样 的 数据 库 ， 以 及 MapReduce 这 样 的 计算 框架 ， 
在 实际 的 生产 环境 中 有 很 多 公司 采用 HBase + MapReduce 的 方式 分 析 海 量 数据 。 

主要 原因 包括 : 

1) MapReduce 框架 可 以 并 行 计算 海量 数据 。 

2) 由 于 HBase 对 数据 进行 了 排序 ， 使 得 某 些 大 数据 查询 速度 变 快 。 

3) 发 HBase 与 MapReduce 都 是 用 HDFS 作为 文件 系统 ， 上 面 的 文件 自动 元 余 备 份 。 当 
某 一 个 存储 服务 带 出 现 问题 时 ,仍然 可 以 进行 正确 的 计算 ， 系 统 稳定 性 高 。 

这 里 我 们 可 以 通过 HBase + MapReduce 的 方法 来 计算 商品 频繁 项 集 L[ 1 ]。 


6.4.1 将 MySQL 中 的 数据 复制 到 HBase 中 


MySQL 这 种 传统 数据 库 的 好 处 在 于 搬入、 删除 速度 很 快 ， 一 般 对 于 那些 需要 频繁 更 新 
的 数据 库 而 言 ， 传 统 关 系 型 数据 库 仍 然 是 第 一 选择 ， 但 它 缺 少 并 行 计算 的 能 力 ， 此 外 与 
HBase 相 比 查询 速度 较 慢 ， 但 HBase 数据 库 的 数据 更 新 速度 很 慢 。 故 在 实际 工作 中 ， 用 户 可 
以 定时 将 MySQL 数据 库 的 信息 更 新 到 HBase 中 ， 这 样 就 兼顾 了 数据 插入 速度 ， 对 大 数据 也 
可 以 使 用 并 行 计算 ， 同 时 兼 得 了 HBase 的 快速 大 数据 查询 优势 。 

首先 我 们 需要 将 MySQL 中 的 lineitem 表 导 入 到 HBase 中 。 

在 HBase 中 ,我 们 可 以 在 程序 运行 过 程 中 设置 一 个 列 族 并 添加 无 穷 的 列 值 ， 如 下 在 
HBase 中 创建 有 一 个 列 族 details 的 表 lineitem。 






































hbase( main) :001:0 > create lineitem ! details 


0 row(s) in 13. 8680 seconds 


HBase 在 与 MapReudce 共同 工作 时 ， 要 注意 行 名 的 创建 ， 为 方便 MapReduce 读 取 数据 ， 
如 果 行 名 是 字符 串 类 型 ， 一 定 要 注意 长 度 一 致 (我 们 在 写 MapReduce 程序 的 时 候 会 看 到 ) 。 
将 MySQL 中 的 数据 复制 到 HBase 中 的 代码 如 代码 清单 6-12 所 示 。 

【代码 清单 6-12]】 




















PAESE 
* 将 MySQL 中 的 数据 复制 到 HBase 中 


* 





* lineitem = > | 

* details = > | 

* itemid , 
* linenum , 
* orderid , 
* quantity , 
* unitprice 
* } 

* } 

* 

* @ author qxu 
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* 
*/ 


public class GenerateSampleData | 


public static void main(String| | args) throws Exception | 
try | 
// 创建 MySQL 数据 库 连接 


String myDriver = " org. gjt. mm. mysql. Driver" ; 





String myUrl = " jdbc : mysql ://localhost : 3306/jpetstore" ; 

Class. forName( myDriver) ; 

Connection conn = DriverManager. getConnection( myUrl, "root" , " Letmein" ) ; 
// 构建 查询 lineitem 全 部 记录 的 查询 语句 

String query = "SELECT * FROM lineitem" ; 

// 创建 java statement 





Statement st = conn. createStatement( ) ; 

// 执行 查询 

ResultSet rs = st. executeQuery( query ) ; 

HTable hLineItemTable ; 

// HBase 参数 初始 化 

Configuration hbaseConfig = HBaseConfiguration. create( ) ; 
hLineItemTable = new HTable( hbaseConfig, "lineitem" ) ; 
hLineItemTable. setAutoFlush( false) ; 

hLineItemTable. setWriteBufferSize(1024 * 1024 * 12); 
// 将 MySQL 数据 库 中 的 查询 结果 插入 到 HBase 中 
while (rs. next( )) | 


int orderld = rs. getInt( " orderid" ) ; 








int linenum - rs. getInt( " linenum" ) ; 
String itemid = rs. getString( " itemid" ) ; 
int quantity = rs. getInt( " quantity" ) ; 
float price = rs. getFloat( " unitprice" ) ; 
String| ] tmp = itemid. split(" —"); 
if (tmp[1]. length( ) 221) | 

tmp[ 1] 2 "0" &tmp[1]; 

itemid = tmp[0] +" -" +tmp[1]; 


| 
System. out. println( orderld +" " + linenum +" " + itemid 





pM Uu 
t 


+ quantity + 
" "+price); 

byte [ | rowkey = Bytes. add( Bytes. toBytes( itemid) , Bytes. toBytes( linenum) ) ; 
Put put = new Put( rowkey ) ; 

put. add( Bytes. toBytes( " details" ) , Bytes. toBytes( " orderId" ) , 


Bytes. toBytes( orderld ) ) ; 
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put. add( Bytes. toBytes(" details" ) , Bytes. toBytes( " quantity" ) , 
Bytes. toBytes( quantity ) ) ; 
put. add( Bytes. toBytes( " details" ) , Bytes. toBytes( " unitprice" ) , 
Bytes. toBytes( price) ) ; 
hLineItemTable. put( put) ; 
} 
hLineItemTable. flushCommits( ) ; 
hLineItemTable. close( ) ; 
st. close( ) ; 
System. out. println( " done" ) ; 
} catch (Exception e) | 
System. err. println( " Got an exception! " ) ; 


System. err. println( e. getMessage( ) ) ; 


6.4.2 ”使 用 MapReduce il $19 Si f L[1] 


在 前 面 一 节 中 ， 我 们 将 需要 计算 的 海量 数据 复制 到 了 HBase 中 (在 实际 工作 中 ， 很 多 
表 的 数据 极 大 ， 可 以 考虑 将 数据 移动 到 HBase 中 ， 既 方便 查询 又 方便 分 析 计 算 ) 。 下 面 我 们 
将 使 用 MapReduce 对 该 数据 进行 分 析 得 到 频繁 项 集 L[1] 。 输 出 结果 将 存 人 frequentsetone 表 
中 。 该 表 创 建 如 下 : 





























hbase( main) :001 :0 > create frequentsetoné , | NAME = » details , VERSIONS = >1} 


与 第 3 章 中 所 讲述 的 WordCount 示例 类 似 ，HBase 中 的 Mapper 类 将 负责 遍历 输入 表 
lineitem， 然 后 将 预 处 理 的 中 间 结 果 输 出 给 Reducer 2$, Reducer 得 到 Mapper 的 输出 结果 ， 并 
将 分 析 人 处 理 后 的 结果 存 入 frequentsetone 表 ， 如 代码 清单 6-13 所 示 。 

【代码 清单 6-13】 





















































public class Apriori | 
static class FrequentSetOneMapper extends TableMapper < ImmutableBytesWritable, IntWritable > | 


private int numRecords = 0; 


private static final IntWritable one 2 new IntWritable( 1) ; 


@ Override 
public void map( ImmutableBytesWritable row, Result values, Context context) throws IOEx- 
ception | 


ImmutableBytesWritable itemId = new ImmutableBytesWritable( row. get( ) , 0, 6) ; 
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try 
context. write( itemId one) ; 

} catch ( InterruptedException e) | 
throw new IOException( e) ; 

} 

numRecords ++ ; 

if ( (numRecords % 10000) ==0) | 


context. setStatus( " mapper processed " 


+ numRecords +" records so far" ) ; 


public static class FrequentSetOneReducer extends TableReducer < ImmutableBytesWritable, In- 
tWritable, ImmutableBytesWritable > | 
publie void reduce( ImmutableBytesWritable key, Iterable < IntWritable > values, Context context) 
throws IOException, InterruptedException | 
int sum 20; 
for (IntWritable val : values) | 


sum + =val get() ; 


Put put = new Put( key. get( ) ) ; 
put. add( Bytes. toBytes( " details" ) , Bytes. toBytes( " total" ) , Bytes. toBytes( sum) ) ; 
context. setStatus(" stats : itemid ; " + Bytes. toString( key. get()) +" count ; " + sum); 


context. write( key, put) ; 


public static void main(String| | args) throws Exception | 
Configuration hbaseConf = HBaseConfiguration. create( ) ; 
Job job = new Job( hbaseConf, " Hbase AprioriFrequentSetOne" ) ; 
job. setJarByClass ( Apriori. class) ; 
Scan scan = new Scan( ) ; 
String columns = " details" ; 
scan. addColumns ( columns ) ; 
scan. setFilter( new FirstKeyOnlyFilter( ) ) ; 
TableMapReduceUtil. initTableMapperJob ( " lineitem" , scan, FrequentSetOneMapper. class, 
ImmutableBytesW ritable. class , 
IntWritable. class, job) ; 
TableMapReduceUtil. initTableReducerJob ( " frequentsetone" ,  FrequentSetOneReducer. class, 
job) ; 
System. exit( job. waitForCompletion(true) ? 0 : 1); 
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6.4.3 得 到 最 终结 果 

最 终结 果 会 被 保存 在 frequentsetone 表 中 可 以 通过 scan frequentsetont 命令 在 HBase shell 
中 查看 这 些 数据 。 也 可 以 写 程序 来 获得 这 些 数据 ， 如 代码 清单 6-14 所 示 。 

【代码 清单 6-14】 


























publie class PrintFrequentSetOne | 


public static void main(String| | args) throws Exception | 


Configuration hbaseConf = HBaseConfiguration. create( ) ; 
HTable htable = new HTable( hbaseConf, " frequentsetone" ) ; 


Scan scan = new Scan( ) ; 

ResultScanner scanner = htable. getScanner( scan) ; 

Result r; 

while ( ( (r 2 scanner. next( )) ! 2 null)) | 
String userld = Bytes. toString( r. getRow( ) ) ; 
byte[ ] totalValue = r. getValue( Bytes. toBytes( " details" ) , Bytes. toBytes( " total" ) ) ; 
int count = Bytes. toInt( total Value) ; 


M" M" M" 


System. out. println(" key; " + userld + " , count; " + count) ; 


| 


scanner. close( ) ; 


htable. close( ) ; 


| 


输出 结果 会 按照 行 名 的 字母 顺序 进行 排序 ， 实 际 上 HBase 在 存储 时 就 已 作 了 排序 ， 用 
户 可 以 根据 自己 的 具体 查询 要 求 ， 对 HBase 的 存储 进行 配置 ， 以 提高 查询 速度 。 

本 市 我 们 给 出 使 用 HBase 进行 数据 挖 据 的 基础 思路 ， 读 者 可 以 动手 完成 全 部 功能 ， 以 
加 深 印 象 。 


|e. 5 小 结 


随 着 计算 机 的 高 度 普及 、 网 络 的 发 展 和 电子 商务 的 推广 ， 人 们 越 来 越 习 惯 于 网 上 购物 ， 
与 通过 人 工 录 入 的 传统 数据 采集 方式 不 同 ， 现 在 的 商品 售卖 管理 系统 都 可 以 将 历史 数据 很 好 
的 保留 下 来 。 而 这 些 海量 历史 数据 就 像 一 座 座 有 待 开采 的 矿山 ， 里 面 列 含 着 很 多 有 用 的 信 
息 。 而 去 计算 所 提供 的 强大 计算 能 力 ， 就 像 是 马力 强劲 的 挖 气 机， 帮助 我 们 使 用 各 种 不 同 的 
方法 挖掘 矿藏 。 

本 章 的 内 容 与 前 面 几 章 相 比 ， 算 法 与 实现 都 比较 复杂 ， 很 多 内 容 读者 也 许 看 书 不 能 完全 
理解 ， 不 妨 动手 搭建 一 套 运行 环境 ， 在 实践 中 慢 慢 体会 。 
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在 金融 行业 中 ， 几 乎 所 有 的 银行 都 会 做 投资 前 的 市 场 调查 工作 ， 分 析 历 史 数 据 。 然 后 将 
汇总 信息 提供 给 高 级 项 目 专员 作 最 后 的 决定 工作 。 但 有 一 个 细节 是 ， 这 个 最 后 的 决定 工作 ， 
有 些 银行 会 首先 采用 计算 机 分 析 模 拟 ， 之 后 再 将 结果 与 个 人 经 验 相 结合 来 做 最 后 决定 ， 而 采 
取 这 种 模拟 计算 的 银行 往往 实力 较 强 ， 从 表面 上 来 看 经 营 状况 也 比较 好 。 笔 者 也 觉得 在 做 最 
终 决定 前 ， 如 果 能 使 用 计算 机 通过 计算 得 出 一 个 模拟 数据 作为 参考 ， 应 该 比 仅 由 项 目 专 员 来 
直接 做 最 终 决 策 更 可 靠 些 。 在 保证 算法 和 历史 数据 正确 的 前 提 下 我 们 使 用 计算 机 模拟 主要 有 
m 

给 最 终 决策 者 一 个 可 信 的 经 验 数据 作 参 考 。 

人 并 且 可 以 应 用 多 种 复杂 的 模拟 算法 同时 










































































验证 。 
e 算法 一 般 由 多 人 共同 开发 ， 特 别 是 一 些 常用 算法 有 很 多 公司 实践 过 ， 分 析 方 法 较为 
可 靠 。 


e 最 大 程度 上 避免 了 由 某 个 人 或 团队 赁 经 验 决 策 而 出 现 的 投资 误 判 。 
笔者 查阅 了 一 些 与 金融 计算 相关 的 资料 及 算法 ， 并 结合 云 计算 在 本 章 介 绍 给 读者 。 
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[7.1 金融 计算 简介 


假设 我 们 计划 投资 1000 万 元 给 某 个 项 目 , 该 项 目 预期 年 销售 收入 670 万 元 ,年 销 
售 税 金 15 万 元 ， 年 经 营 成 本 390 万 元 ， 年 折旧 费 65 万 元 。 以 项 目的 投资 利润 率 作 为 项 


目的 考核 指标 ， 而 项 目的 年 销售 收入 和 年 经 营 成 本 为 不 确定 因素 。 我 们 期 望 利润 率 在 
1595 以上。 


通过 上 面 的 描述 可 知 . 
经 验 利润 率 = 年 利润 总 额 /投资 总 额 = (670 -15 -390 -65)/1000 =20% 


依据 经 验 可 知 如 果 该 项 目 利润 率 大 于 15% ， 则 该 项 目 具 有 可 行 性 。 问 题 在 于 如 果 事 实 
跟 我 们 想 的 不 一 样 ， 会 是 一 个 什么 样 的 状况 呢 ? 这 就 需要 做 相关 的 风险 分 析 。 

在 金融 风险 分 析 中 ， 敏 感度 分 析 是 常用 的 手段 之 一 。 

敏感 性 分 析 是 指 从 众 nee 济 效益 指标 有 重要 影响 的 敏感 
性 因素 ， 并 分 析 、 测 算 其 对 项 目 经 济 效益 指标 的 影响 程度 和 敏感 性 程度 ， 进 而 判断 项 目 承 受 
风险 能 力 的 一 种 不 确定 性 分 析 方 法 。 

项 目 销售 收入 和 经 营 成 本 变化 对 投资 利润 率 的 影响 如 表 7-1 所 示 。 











表 7-1 单 因 素 敏 感性 分 析 表 




















投资 收益 率 变化 幅度 
-10% -5% 0 +5% +10% 
不 确定 因素 
销售 收入 13. 396 16. 6% 20% 23. 3% 26. 7% 
经 营 成 本 23. 9% 21. 996 2096 18. 196 16. 196 

















当 销 售 收入 变化 时 ,投资 收益 率 = [670 x(1+ 变 化 幅度 ) -15 -390 -65 ]/1000 
当 经 营 成 本 变化 时 ,投资 收益 率 = [670 -15 -390 x(1 + 变化 幅度 ) —65 ]/1000 
根据 表 7-1， 我 们 可 画 出 敏感 性 分 析 图 ， 如 图 7-1 所 示 。 
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图 7-1 敏感 性 分 析 图 
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由 分 析 图 可 知 ， 当 项 目 销售 收入 下 降幅 度 超过 7. 5% 时 ,项 目 利润 率 降 低 于 期 望 的 收益 
率 ， 项 目 不 可 行 。 而 经 营 成 本 在 研究 变动 幅度 内 的 变化 不 会 使 利润 率 低 于 期 望 值 。 故 该 项 目 
的 销售 收入 对 项 目的 影响 较 大 ， 敏 感性 较 高 (图 7-1 可 使 用 Microsoft Office Excel 生成 ， 请 
参考 sample7 V 敏感 度 分 析 . xls) 。 

现在 我 们 知道 本 次 投资 是 存在 风险 的 ， 但 却 不 知道 风险 到 底 有 多 大 ， 值 不 值得 冒 这 个 风 
险 。 下 面 将 使 用 模拟 算法 来 解决 这 个 问题 。 


7.2 蒙特 卡 罗 模 拟 算 法 


蒙特 卡 罗 模 拟 算法 是 一 种 非常 强 有 力 的 方法 ， 它 为 解决 那些 复杂 的 实际 问题 开启 了 一 局 
大 门 。 比 较 著名 的 是 诺 贝 尔 奖 获 得 者 物理 学 家 恩 里 科 ' 费 米 (Enrico Fermi). 在 1930 年 的 应 
用 ， 他 使 用 这 种 随机 方法 来 计算 刚 发 现 的 中 子 的 性 质 。 蒙 特 卡 罗 模 拟 算法 也 是 “曼哈顿 计 
划 ” 所 用 到 的 模拟 算法 的 核心 部 分 ， 在 20 世纪 50 年 代 蒙 特 卡 罗 模 拟 算 法 就 用 在 美国 国家 实 
验 室 发 展 氨 弹 的 早期 工作 中 ， 并 流行 于 物理 学 和 运筹 学 研究 领域 。 今 天 蒙特 卡 罗 模 拟 算法 被 
广泛 应 用 于 不 同 的 领域 ， 包 括 生物 科学 、 机 械 制 造 以 及 金融 计算 。 

简 言 之 ， 蒙 特 卡 罗 模 拟 算法 创造 了 一 种 假设 的 未 来 ， 它 是 通过 产生 数 以 万 计 甚 至 百 万 计 
的 样本 结果 并 分 析 它 们 的 共性 实现 的 。 在 金融 领域 ， 蒙 特 卡 罗 模 拟 算法 被 用 于 风险 分 析 、 风 
险 鉴 定 等 。 

蒙特 卡 罗 模 拟 算法 的 这 种 高 采样 特性 需要 大 量 的 计算 资源 ， 而 云 计 算 正 是 一 种 具有 可 以 
按 需 分 配 计算 资源 ， 或 按 使 用 付费 特性 的 计算 环境 。 我 们 可 以 通过 云 计算 平台 对 海量 的 信息 
进行 采样 来 得 到 较为 贴近 真实 情况 的 结果 。 


7.2.1 一 个 简单 的 蒙特 卡 罗 模 拟 例子 


在 开始 使 用 蒙特 卡 罗 模 拟 算法 解决 实际 问题 之 前 ， 我 们 先 通 过 一 个 例子 介绍 一 下 这 种 
算法 。 

一 个 经 典 的 蒙特 卡 罗 模 拟 例子 是 计算 圆周 率 。 

想象 有 一 个 完美 的 正方 形 土地 , 边 长 为 10000 个 单位 。 在 这 块 土地 的 中 间 有 一 个 完美 的 
圆 形 湖 ， 这 个 湖 的 直径 是 10000 个 单位 ， 这 块 土地 的 绝 大 多 数 面 积 都 是 水 ,当然 只 有 4 个 角 
上 有 一 些 土地 ，( 可 以 把 这 个 湖 想 象 为 个 正方 形 的 内 接 圆 ) ,如 图 7-2 所 示 。 




















e» 











图 7-2 用 大 炮 计算 圆周 率 
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现在 使 用 老式 的 大 炮 和 铁 炮弹 向 这 块 正方 形 区 域 开 炮 ， 假 设 所 有 的 炮弹 都 会 击 中 这 块 正 








方形 土地 的 菜 个 地 方 。 或 者 是 打 到 湖 中 , 或 者 是 打 到 4 个 角 的 土地 上 。 因 为 湖 占据 了 这 个 


x< 








域 大 部 分 地 方 ， 所 以 大 部 分 的 炮弹 都 会 “扑通 ”一 声 落 到 湖 里 ， 而 只 有 很 少 的 炮弹 会 “而 




















的 一 声 落 到 4 个 角 的 土地 上 。 如 果 发 出 的 炮弹 足够 随机 地 落 到 这 块 正方 形 
落 到 水 里 的 炮弹 与 打出 炮弹 的 总 数 的 比率 ， 大 概 接近 于 PI/4。 


Ni 








区 域 中 的 话 ， 那 么 


因为 总 面积 为 10000 x10000, [EIE fH 5000 x 5000 x PI， 故 圆 面积 与 总 面积 的 比值 为 


PL4。 
理论 上 来 说 , 如 果 打 出 的 炮弹 越 多 ,就 越 接近 这 个 数字 。 


7.2.2 ”编程 实现 蒙特 卡 罗 计 算 圆 周 率 











根据 上 面 的 描述 ， 我们 用 Java 语言 实现 一 个 通过 大 炮 打点 计算 圆周 率 的 例子 ， 如 代码 





清单 7-1 所 示 。 
【代码 清单 7-1 ] 


// 蒙特 卡 罗 模 拟 计算 圆周 率 
package com. skater. cloud. montecarla; 
import java. util. Random; 
public class MonteCarlaPI | 
final static int DIMENSION = 10000;/ 这 块 土地 的 边 长 
final static int MAXSHOTS = 10000; /开炮 次 数 
final static double PMULTIPLIER =4. 0f; // 接近 于 PI 的 比例 因子 
static Random r = new Random( ) ; 
// 得 到 炮弹 落 点 
private static double getCannonShotPlaceMent( ) 
| 
return r. nextDouble( ) * DIMENSION; 
} 
// 得 到 落 点 到 圆心 的 距离 
private static double getDistanceToCenter( double xCoord, double yCoord) | 
A/ 圆心 位 于 (5000,5000) 
double center = DIMENSION/2 ; 


return Math. sqrt( ( xCoord — center) * (xCoord — center) + ( yCoord — center) * ( yCoord - 


center) ) ; 
| 
/ox 
« 计算 圆周 率 
*/ 


public static void main(String| | args) | 
int shots 20; 
double splashes 20; 
double thuds 20; 
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double pi 20; 
while ( shots « MAXSHOTS ) 
| 

// 取得 炮弹 的 坐标 


double xCoord = getCannonShotPlaceMent( ) ; 


double yCoord = getCannonShotPlaceMent( ) ; 


// 取 得 坐标 到 圆心 的 距离 


double distance = getDistanceToCenter( xCoord ,yCoord ) ; 


shots ++ ; 


System. out. println( " xCoord =" + xCoord +" yCoord =" + yCoord) ; 


System. out. println( " distance = " 


if ( distance < DIMENSION/Z2 ) | 


+ distance) ; 


System. out. println( " 哗啦 一 声 炮弹 入 湖 " ) ; 


splashes ++ ; 


| else | 


System. out. println( " 侠 一 声 炮 弹 打 到 了 岸上 " ) ; 





thuds ++ ; 


| 
System. out. println(" 炮 弹 和 人 湖 的 次 数 为 : " 


+ splashes ) ; 


pi = (splashes/MAXSHOTS) * PMULTIPLIER ; 


System. out. println( " 圆周 率 为 : " + pi) ; 


} 
在 Eclipse 中 执行 ， 结 果 如 图 7-3 所 示 。 





(zi Problems | @ Javadoc |[& Declaration |; 





«terminated» MonteCarlaPI [Java Application] C:\Program Files\Java\jre6\bin\javaw.exe (2011-2-3 下 午 09:29:52) 





nei — P1858 A8 


Coord-6713.718762842113yCoord-69.41243744266524 


distance-5219.916255090898 


ieagal T PEEL 


Coord-1596.1515563772232yCoord-8585.466011638355 


distance-4943.859903735851 
哗啦 一 声 炮 弹 六 湖 

炮弹 入 湖 的 次 数 为 : 7859.0 
圆周 率 为 : 3.143d 











图 7-3 ”蒙特 卡 罗 模 拟 计算 
历史 上 确实 有 人 使 用 过 蒙特 卡 罗 模 拟 算 法 来 计算 








圆周 率 结果 








圆周 率 。 最 早 是 法 国 的 科学 家 蒲 丰 ， 他 


没有 用 大 炮 ， 而 是 在 墙 上 画 一 个 长 度 为 1 的 正方 形 ， 然 后 在 里 面 画 出 最 大 的 加 ， 在 一 定 距离 


进行 投 针 ， 针 投入 圆 的 次 数 和 投入 正方 形 的 次 数 之 比 


， 就 是 它们 的 面积 比 ， 进 而 计算 出 圆周 


率 ， 最 后 得 到 了 不 错 的 结果 。1850 年 沃 尔 夫 投 针 5000 次 测 得 圆周 率 为 3. 1596, ，1860 年 德 摩 
根 投 针 600 次 算 的 圆周 率 为 3. 137， 最 后 1901 年 意大利 的 数学 家 拉 泽 里 尼 投 针 3408 次 ， 并 
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结合 现代 数学 缩减 偏差 的 方法 得 到 圆周 率 3. 1415929, 在 没有 计算 机 辅助 计算 的 当时 ， 很 早 
就 算出 了 3. 1415926 和 3. 1415927 的 区 间 。 

下 面 我 们 总 结 了 一 下 使 用 蒙特 卡 罗 模 拟 算法 的 几 个 步骤 : 

1) 确定 要 解决 的 问题 是 否 可 以 用 概率 统计 的 方法 解决 ， 也 就 是 建立 数学 模型 ， 通过 数 
学 模型 f(x1 ,x2 ,x3 ,…) 可 以 模拟 要 求解 的 问题 。 

在 求 圆周 率 的 例子 中 ， 这 个 数学 模型 也 就 是 圆 的 外 切 正方 形 ， 不 确定 变量 为 采样 点 的 
横 、 纵 坐标 。 

2) 确定 随机 采样 点 的 计算 方法 ， 也 就 是 确定 xl ,x2 ,x3 ,…。 

在 求 圆周 率 的 例子 中 ， 这 些 采 样 点 就 是 打 在 正方 形 中 的 所 有 点 。 

3) 确定 随机 采样 点 的 选择 方法 ， 确 定 哪些 采样 点 符合 要 求 。 

在 求 圆 周 率 的 例子 中 ， 打 在 圆 内 的 点 可 以 通过 计算 到 圆心 的 距离 来 判断 。 

4) 根据 比值 确定 最 终结 果 。 
通过 这 一 节 的 描述 ,希望 读者 对 使 用 蒙特 卡 罗 模 拟 算 法 解决 实际 问题 有 一 个 基本 概念 。 


[3 使 用 蒙特 卡 罗 模 拟 解决 问题 


在 7.1 节 中 我 们 假定 投资 1000 万 元 给 某 个 项 目 ， 通 过 敏感 度 分 析 可 知 该 项 目 投资 收益 率 
与 该 项 目的 销售 收入 相关 度 较 高 ， 当 收益 率 下 降 7.5% 时， 就 无 法 满足 项 目 收益 率 15% 的 要 
求 。 该 项 目 存在 一 定 风 险 。 可 是 敏感 度 分 析 无 法 将 这 种 风险 程度 量化 ， 我 们 不 知道 该 项 目 存在 
风险 的 概率 有 多 大 。 本 节 将 根据 前 面 介绍 过 的 蒙特 卡 罗 模 拟 算 法 给 出 这 种 风险 的 量化 指标 。 

使 用 蒙特 卡 罗 模 拟 算法 对 该 项 目 进行 数学 建 模 。 

(1) 确定 要 解决 的 问题 是 否 可 以 用 概率 统计 的 方法 解决 

在 该 投资 项 目 中 有 两 个 不 确定 因素 ,销售 收入 与 经 营 成 本 。 

在 可 预见 的 时 间 内 ， 项 目的 不 确定 因素 在 - 10% 到 + 10% 波动 (这 是 一 个 经 验 值 ， 一 
般 可 通过 产品 销售 的 历史 信息 获得 ， 也 可 以 由 销售 团队 制定 ) 。 

该 项 目 年 销售 收入 预期 为 670 万 元 ， 年 经 营 成 本 预期 为 390 万 元 ,年 销售 税金 15 万 元 ， 
年 折旧 费 65 万 元 。 选 择 项 目的 投资 利润 率 为 考核 指标 。 而 项 目的 销售 收入 和 年 经 营 成 本 为 
不 确定 因素 。 我 们 期 望 利 润 率 在 15% 以 上 。 

该 项 目的 经 验 利润 率 = 年 利润 总 额 /投资 总 额 
= (销售 收入 -经 营 成 本 -销售 税金 -折旧 费 )/ 投 资 总 额 
(2) 确定 随机 采样 点 的 计算 方法 
e. 只 有 一 个 不 确定 因素 变化 时 。 
当 销售 收入 变化 时 ,投资 收益 率 = [670 x (1 + 变化 幅度 ) -15 -390 -65 ]/1000 
当 经 营 成 本 变化 时 ,投资 收益 率 = [670 -15 -390 x(1+ 变 化 幅度 ) —65 ]/1000 
e 两 个 不 确定 因素 同时 变化 时 。 
当 销 售 收入 与 经 营 成 本 同时 变化 时 ， 
投资 收益 率 =[670 x (1 + 变化 幅度 ) -15 -390 x (1 + 变化 幅度 ) —65 ]/1000 
(3) 确定 随机 采样 点 的 选择 方法 
当 采 样 点 确定 的 收益 率 大 于 1596 时 ， 则 选择 该 点 作为 有 效 点 。 
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(4) 根据 比值 确定 最 终结 果 




















收益 率 大 于 15% 的 采样 点 数量 与 全 部 采样 点 的 数量 之 比 为 该 项 目 投资 达到 收益 











的 概率 。 
7.3.1 蒙特 卡 罗 模 拟 投资 分 析 基 本 编码 实现 


通过 上 一 节 的 分 析 我 们 已 经 用 蒙特 卡 罗 模 拟 算法 对 投资 项 目 进 行 了 数学 建 模 
编程 实现 这 个 算法 。 如 代码 清单 7-2 所 示 。 
【代码 清单 7-2】 








// 蒙特 卡 罗 模 拟 计算 投资 风险 


package com. skater. cloud. montecarla. investment; 


import java. util. Random ; 


publie class TenMillionTrading | 
static Random inComeGen = new Random( ) ; 
static Random costGen = new Random( ) ; 
/该 项 目 年 销售 收入 预期 为 670 万 元 


final static double income = 670; 

















/年 经 营 成 本 预期 为 390 万 元 
final static double cost = 390 ; 
private static double getRandomInCome( ) | 
// 变 化 幅度 为 0.9 — 1.1 
//Min + ( Random. nextDouble() * (Max— Min)) 
Math. random( ) ; 
double min - 0. 9; 
double max 2 1. 1; 


return income * ( min + ( inComeGen. nextDouble( ) * (max — min) ) ) ; 


private static double getRandomCost( ) | 
// 变 化 幅度 为 0.9 — 1.1 
//Min + ( Random. nextDouble() * (Max— Min)) 
Math. random( ) ; 
double min - 0. 9; 
double max 2 1. 1; 


return cost * ( min + ( costGen. nextDouble( ) ** ( max — min) ) ) ; 


public static void main(String args[ ]) | 
// 投资 1000 万 元 


212 


vi 
M 
^ 





云 计 算 在 金融 计算 中 的 应 用 | 第 7 党 


double investMent = 1000 ; 
// 年 销售 税金 15 万 元 
double duty = 15; 

// 年 折旧 费 65 万 元 
double depreciation = 65 ; 








// 预 期 收益 率 
double expectRate = 0. 15; 


long evaluationNum = 10000; 
long evaluationTime 20; 


long expected 20; 





// 当 销售 收入 变化 时 ,投资 收益 率 = [670 * (1+ 变 化 幅度 ) -15 -390 -65]/1000 
while( evaluationTime < evaluationNum ) | 

double a = getRandomInCome( ) ; 

double rate = (a — 15 -390 -65 )/investMent; 

evaluationTime ++ ; 

if( rate >= expectRate) | 


expected ++ ; 


} 
System. out. println( " 当 销 售 收入 变化 时 ,预期 收益 率 > " + expectRate +" 的 概率 为 " + 


( double) expected/evaluationTime) ; 





// 当 经 营 成 本 变化 时 ,投资 收益 率 = [670 -15 -390* (1+ 变 化 幅度 ) —65]/1000 
evaluationTime =0; 
expected =0; 


while( evaluationTime < evaluationNum ) | 


getRandomCost( ) ; 

double b. = getRandomCost( ) ; 

double rate = (670 — 15 -b —65) /investMent ; 
evaluationTime ++ ; 

if( rate >= expectRate) | 


expected ++ ; 


} 

System. out. println( " 当 经 营 成 本 变化 时 ,预期 收益 率 > " + expectRate +" 的 概率 为 " + 
( double) expected/evaluationTime) ; 

// 当 销 售 收 入 与 经 营 成 本 同时 变化 时 
// 投资 收益 率 = (670 * (1 + 变化 幅度 ) -15 -390 * (1+ 变 化 幅度 ) -65)/1000 
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evaluationTime =0; 
expected = 0 ; 


while( evaluationTime < evaluationNum ) | 


double a = getRandomInCome( ) ; 
getRandomCost( ) ; 

double b = getRandomCost( ) ; 

double rate = (a —15—b—65)/investMent; 
evaluationTime ++ ; 

if( rate >= expectRate) | 


expected ++ ; 


| 
System. out. println(" 当成 本 和 收入 都 发 生 波动 时 ,预期 收益 率 > " + expectRate + "的 概 
率 为 " + (double) expected/evaluationTime ) ; 
| 














| 


在 Eclipse 中 的 运行 结果 ， 如 图 7-4 所 示 。 








B} Problems | @ Javadoc [E Declaration 





«terminated» TenMillionTrading [Java Application] C:\Program Files\Java\jre6\bin\j: 
HERAS, MERE > 0.15 的 概率 为 0.8745 

当 经 营 成 本 变化 时 ,预期 收益 率 > 0.15 的 概率 为 1.0 

当成 本 和 收入 都 发 生 波动 时 ,预期 收 荔 率 > 0.15 的 概率 为 0.8537 











图 7-4 ”蒙特 卡 罗 模 拟 计算 投资 可 行 性 结 











7.3.2 测试 
对 于 这 个 投资 的 例子 来 说 ， 收 益 和 支出 的 “变化 幅度 ”将 影响 最 终 的 计算 结 
(1) 改变 变化 率 
将 “变化 幅度 ”从 -10% ~10% 变 化 为 -20% ~20% ， 得 到 结果 如 图 7-5 所 示 。 





«terminated» TenMillionTrading [Java Application] C:\Program Files\Java\jre 
当 和 销售 收入 变化 时 , MEAE > 0.15 的 概率 为 0. 6867 

当 经 营 成 本 变化 时 ,预期 收益 率 > 0.15 的 概率 为 0.8232 

当成 本 和 收入 都 发 生 波动 时 ,预期 收 芋 率 > 0.15 的 概率 为 0.6813 


共 耗 时 22 milliseconds 
7-5 增 大 变化 幅度 后 蒙特 卡 罗 模 拟 计 算 投资 可 行 性 结果 


通过 增 大 变化 幅度 ， 可 以 看 到 ， 当 销售 收入 有 大 的 变化 时 ， 其 预期 收益 率 高 于 我 们 期 望 
值 的 概率 (0.6867)， 比 经 营 成 本 与 销售 收入 同时 发 生 波 动 的 收益 率 (0.6813) 要 高 。 而 如 
果 在 销售 收入 大 幅度 变化 下 ， 同 时 对 成 本 进行 调节 并 保持 原 变 化 率 不 变 ， 预 期 收益 率 会 向 好 
的 方向 发 展 ， 如 图 7-6 所 示 。 
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«terminated» TenMillionTrading [Java Application] C:\Program Files\Java\re 
当 销 售 收入 变化 时 ,预期 收 荔 率 > 0.15 的 概率 为 0.6836 

当 经 营 成 本 变化 时 , 预期 收益 率 > 0.15 的 概率 为 1.0 

当成 本 和 收入 都 发 生 流动 时 ,预期 收益 率 > 0.15 的 概率 为 0.6875 


共 耗 时 21 milliseconds 





图 7-6 成 本 与 收入 同时 变化 的 收益 率 大 于 单独 变化 销售 收入 的 收益 率 

(2) 增加 采样 次 数 

在 改变 变化 率 的 情况 下 ， 我 们 每 次 的 运行 结果 并 不 一 致 ， 有 时 同时 变化 成 本 和 收入 收益 
率 最 低 ( 图 7-6 为 0.6875, 图 7-5 为 0.6813), 但 有 时 单独 变化 销售 收入 时 的 收益 率 最 低 
( 图 7-6 为 0.6836， 图 7-5 为 0.6867)。 这 显然 不 足以 让 我 们 根据 这 个 模拟 给 出 最 终结 
通过 之 前 对 蒙特 卡 罗 模 拟 算法 的 分 析 ， 我 们 知道 蒙特 卡 罗 算 法 的 精确 度 随 着 采样 次 数 的 增加 
而 增加 。 现 在 ， 将 采样 次 数 从 10000 次 增加 到 100000, 1000000, 10000000 次 ， 如 图 7-7 
所 示 。 














«terminated» TenMillionTrading [Java Application] C:\Program FilesJavaVre 





HSA, TER REIHE > o.15 的 概率 为 0.68681 
当 经 营 成 本 变化 时 , 预期 收益 率 > 0.15 的 概率 为 0.82051 
当成 本 和 收入 都 发 生 波动 时 ,预期 收益 率 > 0.15 的 概率 为 0.68785 


共 耗 时 133 milliseconds 
图 7-7 增 大 采样 次 数 到 100000 后 的 计算 结果 


从 图 7-7, 图 7-8, 图 7-9 可 以 看 出 ， 当 增 大 采样 次 数 后 ， 结 果 的 精度 得 到 了 明显 提 
高 ， 但 结果 依然 不 稳定 (有 时 同时 变化 成 本 和 收入 所 得 收益 率 最 低 ， 但 有 时 单独 变化 销售 
收入 时 的 收益 率 最 低 )。 我 们 可 以 选择 进一步 提高 采样 次 数 。 如 图 7-9 所 示 ， 当 采样 次 数 达 
到 10000000 后 需要 12s 多 才 可 以 得 到 最 终结 果 。 进 一 步 提高 采样 率 会 导致 程序 速度 降低 。 
再 次 增 大 10 倍 采样 率 ， 耗 时 会 增加 到 120 s。 











«terminated» TenMillionTrading [Java Application] C:\Program Files\Java\jre 





销售 收入 变化 时 ,预期 收 荔 率 > 0.15 的 概率 为 0.686324 
当 既 营 成 本 变化 时 , 预期 收益 率 > 0.15 的 概率 为 0.819924 
当成 本 和 收 六 都 发 生 波动 时 ,预期 收益 率 > 0.15 的 概率 为 0.686374 


共 耗 时 1277 milliseconds 





图 7-8 增 大 采样 次 数 到 1000000 后 的 计算 结果 





«terminated» TenMillionTrading [Java Application] C:\Program Files\Java\jre6\t 





销售 收入 变化 时 ,预期 收 荔 率 >0.15 的 概率 为 0.6866128 
当 经 营 成 本 变化 时 ,预期 收 荔 率 > o.15 的 概率 为 0.8204424 
当成 本 和 收入 都 发 生 波 动 时 ,预期 收 荔 率 > 0.15 的 概率 为 0.6863584 


共 耗 时 12333 milliseconds 


图 7-9 增 大 采样 次 数 到 10000000 后 的 计算 结果 








男 一 种 提高 结果 精确 度 的 做 法 就 是 多 次 求解 取 平 均值 ， 或 者 再 次 不 确定 结果 重新 使 用 蒙 
特 卡 罗 模 拟 算法 分 析 概 率 。 不 管 哪 种 方法 都 需要 大 量 计算 ， 得 到 精确 结果 的 代价 是 求解 速度 
的 降低 。 
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7.4 云端 金融 应 用 需求 分 析 





通过 前 面 的 讲述 ,我 们 已 经 用 计算 机 模拟 的 方法 对 投资 进行 了 较为 细致 的 模拟 分 析 。 蒙 
特 卡 罗 横 拟 算法 的 精度 取决 于 采样 点 的 数量 ， 当 采样 点 数量 越 大 时 ， 得 到 的 结果 也 就 越 准 
确 。 但 相应 的 计算 速度 就 会 降低 。 而 当 单个 采样 点 的 计算 量 本 身 就 很 大 时 ， 要 得 到 最 后 结 
果 ， 速 度 会 变 得 更 慢 。 对 于 一 个 金融 业 的 交易 员 来 说 ， 很 多 时 候 时 间 就 是 金钱 (尤其 对 于 
证 券 、 股 票 投资 交易 员 以 及 银行 投资 员 来 说 ， 每 天 要 处 理 数 以 百 计 或 千 计 的 股票 及 交易 。 而 
交易 时 间 是 确定 的 ， 今 天 如 果 处 理 不 完 所 有 交易 ， 那 么 就 有 可 能 错过 机 会 ) ， 他 们 没有 太 多 
的 时 间 去 等 待 计算 结果 。 这 就 对 计算 环境 提出 了 较 高 的 要 求 。 
为 了 获得 灵活 高 效 的 金融 计算 系统 ， 必 须 从 程序 设计 、 软 硬件 架构 等 方面 统筹 考虑 。 


7.4.1 需求 分 析 


通过 对 金融 算法 的 初步 分 析 以 及 使 用 蒙特 卡 罗 模 拟 算法 测试 的 结果 ， 我 们 需要 建立 一 个 
能 满足 高 精确 度 、 高 效率 、 易 扩展 、 易 使 用 的 金融 计算 环境 。 该 程序 的 使 用 者 主要 面向 投资 
交易 员 。 交 易 员 可 以 通过 客户 端 笔记 本 电脑 或 者 手持 设备 方便 地 访问 已 有 数据 ， 并 选择 算 
法 ， 设 定 阔 值 来 得 到 模拟 计算 结果 。 最 终结 果 ， 除 了 上 节 中 提 到 的 概率 值 以 外 还 需要 提供 报 
表 展 示 。 同 时 ， 对 于 计算 时 间 也 要 有 限制 ， 单 项 业务 的 模拟 时 间 要 在 30s 内 计算 完成 。 


7. 4.2 技术 可 行 性 分 析 


传统 的 技术 解决 方案 ， 主 要 是 购买 一 台 强 有 力 的 服务 器 ， 同 时 使 用 多 线程 编程 技术 
将 计算 资源 平分 到 服务 器 的 CPU 上 。 这 样 的 解决 方案 很 成 熟 ， 对 于 投资 数量 较 小 ， 业 务 
时 间 要 求 宽裕 的 投资 者 来 说 ， 它 可 以 在 一 段 时 间 内 满足 需要 ,但 随 着 业务 的 扩大 ， 投 资 
者 不 得 不 考虑 系统 和 算法 的 维护 与 升级 。 当 投资 者 不 得 不 升级 软 人 硬件 系统 时 ,传统 的 解 
决 方案 势必 需要 更 换 主机 ， 而 在 真实 环境 中 系统 迁移 往往 会 带 来 不 兼容 以 及 重新 部 署 测 
试 的 风险 。 

所 以 笔者 认为 不 论 是 小 投资 者 还 是 大 的 投资 机 构 都 能 够 从 使 用 云 计算 中 得 到 好 处。 

针对 计算 速度 慢 的 问题 ， 可 以 使 用 云 计算 环境 里 的 网 格 计算 软件 将 计算 任务 分 配 到 多 台 
计算 机 上 同时 计算 。 

使 用 云 计算 还 带 来 了 更 多 的 好 人 处: 

e 对 单个 主机 的 要 求 不 高 。 

e 可 以 动态 的 添加 计算 节点 到 网 格 计算 环境 中 。 主 机 来 源 较为 广泛 ， 可 以 使 用 企业 内 部 

资源 也 可 以 向 IDC 购买 虚拟 主机 资源 。 

e 单个 主机 出 现 问 题 ， 并 不 会 对 整个 系统 产生 影响 。 





































































































7.5 云端 金融 应 用 概要 设计 


为 了 满足 系统 的 需求 ,我们 将 从 系统 架构 、 技 术 选 型 、 系 统 功能 几 个 方面 介绍 该 
系统 。 
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7.5.1 系统 功能 

由 上 面 分 析 可 知 ， 我 们 要 解决 的 问题 主要 集中 在 以 下 几 方面 。 

1) 能 快速 处 理 大 量 计算 请 求 。 

2) 系统 可 以 方便 添加 计算 资源 。 

3) 系统 要 易于 维护 。 

针对 上 面 的 需求 ， 可 以 选择 合适 软件 来 解决 。 

1) 使 用 Hadoop 或 Symphony DE， 采 用 并 行 计算 件 提高 计算 速度 。 

2) 使 用 云 计算 管理 软件 ， 比 如 购买 AWS 的 服务 来 构建 计算 资源 或 者 使 用 ISF 这 样 的 云 
计算 管理 软件 来 管理 计算 资源 。 


7.5.2. 系统 软 硬 件 架构 


由 于 金融 计算 的 特殊 性 ， 对 算法 和 输入 、 输 出 数据 都 有 一 定 的 保密 性 ， 一 般 是 为 某 个 组 
织 或 银行 定制 ， 故 不 能 选择 公共 云 计 算 平 台 进 行 计算 。 在 这 里 我 们 使 用 ISF 进行 系统 硬件 资 
源 管理 ， 如 图 7-10 所 示 。 


金融 计算 软 硬 件 架 构 
金融 计算 数据 挖掘 


图 7-10 金融 计算 软 硬 件 























资源 管理 层 ”| 并 行 计算 层 | 应 用 层 
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7.6 云端 金融 应 用 系统 实现 








对 于 一 个 金融 计算 软件 来 说 ,除了 实现 基本 的 计算 功能 ， 还 有 系统 安全 、 系 统 运行 历史 
记录 、 报 表 等 众多 模块 需要 考虑 。 这 里 不 会 详细 介绍 这 些 模 块 ， 而 仅仅 关注 于 核心 计算 模块 
的 实现 以 及 系统 的 资源 管理 。 

并 行 软 件 选择 ， 在 系统 架构 设计 阶段 ， 可 以 使 用 Hadoop 或 Symphony DE， 采 用 并 行 计 
算 的 方法 提高 计算 速度 。 

对 于 如 何 选择 并 行 计算 平台 ， 可 以 通过 分 析 有 具体 的 数据 输入 和 输出 来 确定 。 

在 第 6 草 中 ， 由 于 有 海量 数据 存储 需要 处 理 ， 所 以 采用 Hadoop 这 种 基于 大 数据 的 分 布 
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式 计 算 框 架 就 显得 很 合适 。 而 通过 本 章 前 面 的 分 析 ， 对 于 金融 计算 而 言 ， 输 入 数据 仅仅 是 收 
益 与 成 本 的 变化 幅度 以 及 计算 次 数 ， 数 据 量 很 小 ， 没 有 对 历史 数据 的 分 析 ， 此 时 采用 Sym- 
phony DE 这 种 基于 消息 传递 的 并 行 计算 框架 就 显得 很 合适 。 

(1) 输入 、 输 出 数据 定义 

首先 确定 输入 、 输 出 数据 。 输 入 数据 主要 有 总 投资 、 年 销售 税金 、 年 折旧 费 、 预 期 收益 
率 、 采 样 次 数 、 年 销售 收入 预期 、 年 经 营 成 本 预期 以 及 波动 率 ，Symphony DE 支持 通过 Java 
Serialize 类 封装 消息 ， 如 代码 清单 7-3 所 示 。 

【代码 清单 7-3】 
























































// 输入 消息 封装 代码 


package com. skater. cloud. symphony. montecarla. common; 








import java. io. Serializable; 


publie class TenMillionTradingInput implements Serializable | 
private static final long serialVersionUID = 1L; 
// 总 投资 
private double investMent ; 
// 年 销售 税金 
private double duty; 
// 年 折旧 费 
private double depreciation; 
// 预期 收益 率 
private double expectRate; 
// 采样 次 数 
private long evaluationNum ; 
// 年 销售 收入 预期 
private double income; 
// 年 经 营 成 本 预期 
private double cost; 
// 波动 率 


private double wave; 









































public double getWave( ) | 


return wave; 


public void setWave( double wave) | 


this. wave = wave; 


public double getInvestMent( ) | 
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return investMent; 


public void setInvestMent( double investMent) | 


this. investMent = investMent ; 


public double getDuty( ) | 


return duty; 


public void setDuty( double duty) | 
this. duty = duty ; 


public double getDepreciation( ) | 


return depreciation ; 


public void setDepreciation( double depreciation) | 


this. depreciation = depreciation ; 


public double getExpectRate( ) | 


return expectRate ; 


public void setExpectRate( double expectRate) | 


this. expectRate = expectRate ; 


public long getEvaluationNum( ) | 


return evaluationNum ; 


public void setEvaluationNum( long evaluationNum) | 


this. evaluationNum = evaluationNum ; 


public double getIncome( ) | 


return income; 
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public void setIncome( double income) | 


this. income = income; 


publie double getCost() | 


return cost ; 


public void setCost( double cost) | 


this. cost = cost ; 


Afi AC EU AKAR EREN RAAE, HRERS SUR ERA 








当 收 入 与 成 本 都 发 生变 化 时 的 盘 利 概率 ，Symphony DE 支持 通过 Java Serialize 类 封装 消息 ， 
如 代码 清单 7-4 所 示 。 
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【代码 清单 7-4]】 














// 输出 消息 封装 代码 


package com. skater. cloud. symphony. montecarla. common; 





import java. io. Serializable; 


public class TenMillionTradingOutput implements Serializable | 
private static final long serialVersionUID 2 1L; 
double rate4IncomeChange ; 
double rate4 CostChange ; 
double rate4CostIncomeChange ; 
public double getRate4IncomeChange( ) | 
return rate4IncomeChange; 
| 
public void setRate4IncomeChange( double rate4IncomeChange) | 
this. rate4IncomeChange = rate4IncomeChange ; 
| 
publie double getRate4CostChange( ) | 
return rated CostChange ; 
| 
publie void setRate4CostChange( double rate4CostChange) | 
this. rate4CostChange = rate4 CostChange ; 
| 
public double getRate4CostIncomeChange( ) | 


return rated CostIncomeChange ; 
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} 
public void setRate4CostIncomeChange ( double rate4CostIncomeChange) | 
this. rate4CostIncomeChange = rate4CostIncomeChange; 


(2) 服务 端 代码 

服务 端 代码 需要 接受 客户 端 传 来 的 消息 ， 在 Symphony DE 中 可 以 通过 继承 onInvoke 77 
法 中 的 getTaskInput( ) 获取 ， 而 结果 则 通过 taskCon setTaskOutput 返回 给 客户 端 。 详 细 如 代码 
清单 7-5 所 示 。 

【代码 清单 7-5】 























// 服务 端 代 码 


package com. skater. cloud. symphony. montecarla. service; 


import java. util. Random ; 


import com. platform. symphony. soam. ServiceContainer; 

import com. platform. symphony. soam. SoamException ; 

import com. platform. symphony. soam. TaskContext ; 

import com. skater. cloud. symphony. montecarla. common. TenMillionTradingInput ; 


import com. skater. cloud. symphony. montecarla. common. TenMillionTradingOutput ; 


public class TenMillionTradingService extends ServiceContainer 
| 
Random inComeGen = new Random( ) ; 
Random costGen = new Random( ) ; 
TenMillionTradingService( ) 
| 


super( ) ; 


private double getRandomInCome( double income, double min ,double max) | 
// 变 化 幅度 0.9~1.1 
//Min + ( Random. nextDouble() * (Max— Min)) 


return income * ( min + (inComeGen. nextDouble( ) * ( max - min) ) ) ; 


private double getRandomCost( double cost, double min , double max) | 
// 变 化 幅度 0.9~1.1 
//Min + ( Random. nextDouble() * (Max— Min)) 


return cost * ( min + ( costGen. nextDouble( ) * ( max — min) ) ) ; 
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publie void onInvoke ( TaskContext taskContext) throws SoamException 


| 
// 获取 客户 端的 输入 
TenMillionTradingInput tenMillionTradingInput = ( TenMillionTradingInput ) taskCon- 





text. getTaskInput( ) ; 
// 总 投资 
double investMent = tenMillionTradingInput. getInvestMent( ) ; 
// 年 销售 税金 
double duty =tenMillionTradingInput. getDuty( ) ; 
// 5EJTIH A 
double depreciation = tenMillionTradingInput. getDepreciation( ) ; 
// 预 期 收益 率 
double expectRate = tenMillionTradingInput. getExpectRate( ) ; 
/采样 次 数 


long evaluationNum = tenMillionTradingInput. getEvaluationNum( ) ; 























// 该 项 目 年 销售 收入 预期 


double income = tenMillionTradingInput. getIncome( ) ; 

















H 


// 年 经 营 成 本 预期 
double cost = tenMillionTradingInput. getCost( ) ; 








long evaluationTime 20; 


long expected 20; 


double minWave = 1 — tenMillionTradingInput. getWave( ) ; 

double maxWave = 1 + tenMillionTradingInput. getWave( ) ; 

// 当 销售 收入 变化 时 ,投资 收益 率 = [年 销售 收入 预期 * (1 + 变化 幅度 ) -年 销售 税金 
经 营 成 本 预期 -年 折旧 费 ]/ 总 投资 


while( evaluationTime < evaluationNum ) | 





Hm 








double a = getRandomInCome( income , minWave , maxWave) ; 
double rate = (a — duty — cost — depreciation ) /investMent ; 
evaluationTime ++ ; 

if( rate >= expectRate) | 


expected ++ ; 


| 


double rate4IncomeChange = ( double) expected/evaluationTime ; 
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// 当 经 营 成 本 变化 时 ,投资 收益 率 = [年 销售 收入 预期 -年 销售 税金 -年 经 营 成 本 预期 * 
(1+ 变 化 幅度 ) -年 折旧 费 ]/ 总 投资 
evaluationTime =0; 
expected 20; 
while( evaluationTime < evaluationNum ) | 
double b = getRandomCost( cost , minWave , maxWave) ; 
double rate = ( income — duty — b — depreciation) /investMent ; 
evaluationTime ++ ; 
if( rate >= expectRate) | 


expected ++ ; 


| 


double rate4CostChange = ( double) expected/evaluationTime ; 





// 当 销 售 收入 与 经 营 成 本 同时 变化 时 ,投资 收益 率 = [年 销售 收入 预期 * (1 + 变化 幅度 ) 
年 销售 税金 -年 经 营 成 本 预期 * (1 + 变化 幅度 ) -年 折旧 费 ]/ 总 投资 


evaluationTime =0; 




















expected =0; 

while( evaluationTime < evaluationNum ) | 
double a = getRandomInCome(income , minWave , maxWave) ; 
double b = getRandomCost( cost , minWave , maxWave) ; 
double rate = (a — duty — b — depreciation) /investMent ; 
evaluationTime ++ ; 
if( rate >= expectRate) | 


expected ++ ; 


double rate4CostIncomeChange = ( double) expected/evaluationTime ; 


TenMillionTradingOutput tenMillionTradingOutput = new TenMillionTradingOutput( ) ; 


tenMillionTradingOutput. setRate4 CostChange ( rate4 CostChange ) ; 
tenMillionTradingOutput. setRate4 CostIncomeChange ( rate4CostIncomeChange ) ; 
tenMillionTradingOutput. setRate4IncomeChange( rate4 IncomeChange ) ; 

// 将 结果 返回 给 客户 端 

taskContext. setTaskOutput(tenMillionTradingOutput ) ; 





| 


public static void main( String args[ | ) 


| 
int retVal 20; 


try 
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// 创建 服务 吕 
TenMillionTradingService myContainer = new TenMillionTradingService( ) ; 


myContainer. run( ) ; 
| 


catch ( Exception ex) 
| 
// 问 标 准 输 出 打印 异常 
System. out. println( " Exception caught:" ); 
System. out. println( ex. toString( ) ) ; 
retVal = -1; 
| 


System. exit( retVal) ; 


服务 器 端 代 码 编写 好 后 ， 可 以 将 服务 类 以 及 消息 类 发 布 到 Symphony DE 运行 环境 中 ， 具 
体 参考 第 3 章 。 

(3) 客户 端 代码 

假设 我 们 部 署 的 服务 名 称 为 TenMillionTrading， 则 将 可 以 通过 connection = SoamFacto- 
ry. connect. ( appName, ，securityCB ) 获得 Symphony DE 并 行 计算 的 链接 ， 详 细 如 代码 清单 7-6 
所 示 。 

【代码 清单 7-6】 








// 客户 端 代码 

package com. skater. cloud. symphony. montecarla; 

import com. platform. symphony. soam. Connection; 

import com. platform. symphony. soam. DefaultSecurityCallback ; 
import com. platform. symphony. soam. Enumltems ; 

import com. platform. symphony. soam. Session; 

import com. platform. symphony. soam. SessionCreationAttributes ; 
import com. platform. symphony. soam. SoamException ; 

import com. platform. symphony. soam. SoamFactory ; 

import com. platform. symphony. soam. TaskInputHandle; 

import com. platform. symphony. soam. TaskOutputHandle ; 
import com. platform. symphony. soam. TaskSubmissionAttributes ; 
import com. skater. cloud. symphony. montecarla. common. TenMillionTradingInput ; 


import com. skater. cloud. symphony. montecarla. common. TenMillionTradingOutput ; 


class TenMillionTradingClient 


| 


public static void main( String args[ ] ) 
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try 


// 初始 化 API 

SoamFactory. initialize( ) ; 

// 设置 应 用 名 

String appName = " TenMillionTrading" ; 





// 设置 应 用 程序 访问 用 户 名 密码 
DefaultSecurityCallback securityCB = new DefaultSecurityCallback ( " Guest" , " Guest" ) ; 





Connection connection = null ; 
try 
| 

// 建立 与 应 用 的 连接 


connection = SoamFactory. connect( appName securityCB ) ; 


// 获取 并 打印 连接 标志 


System. out. println( " connection ID =" 


+ connection. getId( ) ) ; 





// 设置 会 话 属性 

SessionCreationAttributes attributes = new SessionCreationAttributes( ) ; 
attributes. setSessionName( " mySession" ) ; 

attributes. setSessionType( " ShortRunningTasks" ) ; 

attributes. setSessionFlags( Session. SYNC) ; 





// 创建 同步 会 话 
Session session = null; 
try 

| 


session = connection. createSession( attributes ) ; 


// 获取 并 打印 会 话 标志 


System. out. println( " Session ID :" + session. getId( ) ) ; 





// 向 应 用 发 送 消 息 
int tasksToSend = 10; 


for (int taskCount 20; taskCount < tasksToSend; taskCount ++ ) 


| 





// 创建 消息 
TenMillionTradingInput tenMillionTradingInput = new TenMillionTradin- 
gmput( ) ; 
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tenMillionTradingInput. setCost(390 ) ; 
tenMillionTradingInput. setDepreciation( 65 ) ; 
tenMillionTradingInput. setDuty ( 15 ) ; 
tenMillionTradingInput. setEvaluationNum( 1000000) ; 
tenMillionTradingInput. setExpectRate(O0. 15) ; 
tenMillionTradingInput. setIncome( 670) ; 
tenMillionTradingInput. setInvestMent( 1000) ; 





tenMillionTradingInput. setWave(0. 1) ; 








// 设置 所 提交 任务 的 属性 


TaskSubmissionAttributes taskAttr 2 new TaskSubmissionAttributes( ) ; 











taskAttr. setTaskInput( tenMillionTradingInput ) ; 


// 提交 任务 


TaskInputHandle input = session. sendTaskInput( taskAttr ) ; 








// 获取 并 打印 任务 标志 


System. out. println( "task submitted with ID : " + input. getld( ) ) ; 





// 阻塞 等 待 获取 任务 结 


Enumltems enumOutput = session. fetchTaskOutput( tasksToSend ) ; 








// 检查 结果 
TaskOutputHandle output = enumOutput. getNext( ) ; 
while (output ! 2 null) 
| 
// 检查 任务 是 否 执行 成 功 
if ( output. isSuccessful( ) ) 


| 








// 获取 任务 输出 
TenMillionTradingOutput tenMillionTradingOutput = ( TenMillion- 





TradingOutput) output. getTaskOutput( ) ; 





// 打印 结果 
System. out. println ( " Rate4CostChange: " + 
tenMillionTradingOutput. getRate4 CostChange( ) ) ; 
System. out. println ( " Rate4CostIncomeChange: " + tenMillion- 
TradingOutput. getRate4 CostIncomeChange( ) ) ; 
System. out. println ( " RatedIncomeChange; " + tenMillion- 





TradingOutput. getRate4IncomeChange( ) ) ; 
} 
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else 





// 打印 任务 出 错 信 息 


SoamException ex = output. getException( ) ; 





System. out. println( "Task Not Successful : " ) ; 


, 


System. out. println( ex. toString( ) ) ; 
} 


output = enumOutput. getNext( ) ; 


} 
finally 
| 
// 关 闭会 话 
if (session ! = null) 
| 
session. close( ) ; 


System. out. println( " Session closed" ) ; 


} 
finally 
| 
// 关闭 连接 
if (connection ! = null) 
| 
connection. close( ) ; 


System. out. println( " Connection closed" ) ; 


| 
catch ( Exception ex) 
| 
// 打印 异常 
System. out. println( " Exception caught:" ) ; 
System. out. println ( ex. toString( ) ) ; 
| 
finally 
| 
// 清理 相关 的 API 
SoamFactory. uninitialize( ) ; 


System. out. println(" All Done !!") ; 


227 


云 计 算 : 应 用 开发 实践 


详细 代码 请 读者 参考 sample7\ SymphonyMonteCarla， 读 者 最 好 动手 实际 运行 一 下 ("e 
考 第 3 章 中 的 Symphony DE 的 使 用 ) 。 


|7.7 管理 软 硬 件 资 源 


就 拿 本 章 内 容 来 说 ， 需 要 配置 Symphony DE 集群 ， 当 有 10 台 以 上 计算 机 时 ， 手 工 配置 
除了 安装 操作 系统 ， 还 需要 安装 以 及 配置 Symphony DE, 

这 一 切实 际 上 可 以 通过 使 用 ISF 自动 完成 。 关 于 ISF 的 基本 配置 与 操作 可 参见 第 2 章 内 
容 。 对 于 本 节 使 用 的 Symphony DE 集群 环境 而 言 ， 可 以 通过 自动 配置 多 台 虚 拟 机 或 物理 机 的 
方式 完成 ， 在 ISF 单 击 新 建 Application Definition (应 用 模板 ) 按钮 ， 新 建 Symphony DE 应 用 
模板 ， 如 图 7-11 所 示 。 





Hew Application Definition Wizard 


General Application — ^ Application Component Details Policy Component Workflow 
Details Eu (Optional) 


Specify General Definition Details: 


Definition Hame * SymphonyDE 
Description 


























Add Delete 
| Quantities 
Minimum Maximum 
ol — 


[sms Lei 














图 7-11 3 Symphony DE 应 用 模板 


这 里 指定 Symphony DE 最 少 拥 有 3 台 虚 拟 机 ， 最 多 拥有 20 台 虚 拟 机 来 构成 计算 集群 。 
在 Policy (策略 ) 设置 页 面 中 ， 可 以 设置 在 什么 样 的 条 件 下 添加 或 减少 虚拟 机 个 数 ， 以 
提高 资源 使 用 率 ， 降 低 资源 浪费 ， 如 图 7-12 所 示 。 


Hew Application Definition Wizard 


























*Required Field 
Status | Enabled [M] 
Run Interval* B0 minutes 
Notification Email 
Policy Rules 












AVGCPUUTLOE) [MD | | 
AvGcPUUTILOE) W| |== 






add host 






























| Flex Down E 








图 7-12 Policy 设置 页 面 
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对 于 Symphony DE mes 添加 新 的 计算 机 ， 还 需要 配置 相应 的 配置 文件 ， 我 们 可 以 通过 
预先 设 定 的 方式 将 计算 资源 信息 添加 到 配置 文件 中 。 另 外 Symphony DE 的 收费 版 本 支持 动态 
添加 主机 ， 对 于 拥有 这 样 能 力 的 并 行 计算 软件 ， 我 们 可 以 在 启动 新 计算 节点 时 ， 运 行 相 应 的 
命令 来 配置 集群 。ISF 同样 给 出 了 相应 地 继承 方法 ， 我们 可 以 为 计算 节点 设置 相应 的 启动 脚 
本 ， 如 图 7-13 所 示 。 














Sasausi > Component Details >l em. > Component Workflow ax 











Indicate the workflow specifications for this definition: 


Application Data Table Add variables to be passed to the applications post-provisioning script using the "Add" button. Delete variables by selecting 
their corresponding checkboxes in the table and clicking "Delete". 





Add Delete 


El Variable Name Variable Type Value 

















Specify flows for this definition: 





Crestion Fow 村 ER 本 Use built-in workflow 
Startup FI 
artup Flow. (9 | — ES | Use built-in workflow 
Shutdown FI 
own Fow €A P) IV] use buit-in workflow 


Shutdown Lead Time e minutes before shutdown 


Deletion Fl 
EL | E use buit-in worktow 


Flexup Flow e 


























opt/startnewSymphonyhost.sh| ] El Use built-in workflow 


Flexdown Flow. (7 |] IV] use buitt-in workflow 


























Environment Variables e Add environment variables to be used by the applications flows using the "Add" button. Delete variables by selecting their 
corresponding checkboxes in the table and clicking "Delete". 





Add Delete. 








口 Variable Name Value 








Cancel Back Next. 
7-13 ”设置 启动 脚本 


除了 可 以 设置 启动 脚本 ， 对 于 虚拟 机 运行 的 每 一 个 阶段 〈 创 建 、 启 动 、 关 闭 、 删 除 等 ) 
都 可 以 通过 编写 脚本 进行 定制 化 的 配置 。 

Æ ISF 中 提供 了 很 多 应 用 模板 ( Definitions) 可 以 使 用 。 单 击 Applications - > Definitions 
将 可 以 看 到 如 图 7-14 所 示 的 应 用 模板 列表 。 















































El Æ Resource Center Applications > Definitions 
xian 7 
Bano CockptView Detntions “TEE 
C & xian 6 meme > a 
B vmodevo2 [New Detniton | y v 
EG den 1 
B egovmoo2 
= Asccunis à Users [C Application Detinition Name. Component Type. Creator. Description Status 
Toreiz REEERE TM [e Load balanos an Apache HTTP server. See Iwellulst (707 omicontiapplicationsisampleslapache Unpublshed 
gae Load balance a JBoss application server with flexing. See Iwelliulst OTOTIIcmicontlspplicationsisamples 
É inventory [I] JBoss Load Balance Al Virtual EF [s se be Ter Pa dals Unpublished 
EO Citrix XenServer Resources [F1 | Eoss Saroe PA ARER: -— A JBoss application server, See Iweliulst. OTOTAcmicontiapplctionsisamplesibossREADME be for more | Unpubished 
- y iss [ap i EP An LSF cluster wii 1 master. See jweiluisi 0707 AemicontiappicalionsisampiesAs README TA Tor Me Unpubished 
xavmo02 c details. 
E € xen Virtuaized Resources 口 Linux Sample for VMware All Virtuel [1 A sample Linux application definition for VMware using a minimal CentOS 5.3 VM template. Unpublished 
Bonae E (Resource Pool Selection A A Virol EF Sample application that demonstrates resource pool selection during application submission for intial VM unpubished 
E K kvM Resources [E TT Y [3 ^ Tomcat web server. See weil t D707 lomlcontlapplcationsisempissfomcsRERDME D€ Tor more Unpublished 
B egovmoo2 tais. 
Deploys Z Websphere VMS wih an Apache Load Balancer. See Twellulst U7U7TCTUEOTTSPRICSHOTS 
E vmware Resources DT WebSphere Load Bslance bic bul fsampleswebsphere/README txt for more details. Unpublished 
Drom FREE PEVE m A sample Windows applcetion defintion. To use this definition, modity the resource group and Windows Unpunished 
ElReports & Chargeback C wetest cirix All Virtual Admin B Published 
CUP System weitest kvm Al Virtual Admin - Published 
$ access Control 
Â Adapters 
F Expand Al 
= Colapse Al 
C Refresh 
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其 中 ，JBoss Load Balance 应 用 模板 很 具有 代表 性 。 选 择 JBoss Load Balance ， 单 击 Modify 
按钮 可 以 修改 该 模板 ， 如 图 7-15 所 示 ， 在 Component Workflow 页 面 ， 可 以 看 到 该 模板 对 主 
机 运行 的 很 多 阶段 都 进行 了 定制 ,通过 阅读 修改 ,我们 可 以 模仿 并 创建 自己 的 定制 化 脚本 。 





Modify Application Definition Wizard 








(Optional) Summary 


| General Application | Component Details 多 Policy Component Workflow Confirm 
Details. 





Indicate the workflow specifications for this definition: 


Application Data Table Add variables to be passed to the applications post-provisioning script using the "Add" button. Delete variables by selecting 
their corresponding checkboxes in the table and clicking "Delete". 





























































































































Lm) 
Variable Name Variable Type. value. 
E| Bounce R Single Modiiable (B [nttp:/ HTTP. SERVERGP/sf, packages] 
E| [eeücamoN Single Modifiable 国 | [flbonacci.war 
E| [moss kc NAME Single Modifiable [RI boss-A 22 GA fgz 
E |/RE. PKG. NAME Single Modifiable 国 | jre-Bu17-linux-i586.rpm. 
E| [PACHE PKG NAME Single Modifiable 国 | [ttpd-2 2.3-22 eS .centos 21386 rpm 
Specify flows for this definition: 
Creation Flow (9h paust 0707m On 6-gilc2.3x66/biisq E use buit-in workflow 
ain o IV] use buit-in workflow 
anni, >) IV] use buit-in workflow 











Shutdown Lead Time (9. [; 





minutes before shutdown 






































Deletion How. (9 IV] use buit-in workflow 
Flexup FI 

lexupFlow (fh wei 0707 cm Dlinux2 5-glibc2.3-x86/bin/s E use buit-in workflow 
Flexdown Fl 

exdown Flow (fh — [weiwisT DOT cmi Dinu -otc 3-x86/ein/sq E use buit-in worktlow 








Environment Variables (gj Add environment variables to be used by the applications flows using the "Add" button. Delete variables by selecting their 
corresponding checkboxes in the table and clicking "Delete". 


Ada, 





















































Variable Name. Value, 
El [SF WF IP. PASSING. MODE p 
El [SF Wr TIER 1 POSTARGS (SOURCE, URL) --applicati 
m [EF WF TER 4 ORE FIEVRAAN ermior | TIRE 




















图 7-15 JBoss Load Balance 应 用 模板 脚本 定制 页 面 


创建 一 个 定制 化 的 应 用 模板 ， 确 实 需要 耗费 比较 多 的 时 间 ， 但 磨 刀 不 误 砍 柴 工 ， 以 后 遇 
到 类 似 的 应 用 环境 时 ， 就 可 以 方便 地 通过 实例 化 模板 ， 快 速 地 搭建 运行 环境 。 同 时 ISF 和 与 
其 类 似 的 IaaS 平台 所 提供 的 强大 管理 功能 ， 也 可 以 帮助 我 们 更 好 的 管理 软 硬 件 资源 。 


|": 8 小 结 


通过 这 一 章 的 学 习 ， 我 们 学 习 了 蒙特 卡 罗 模 拟 算法 以 及 如 何 将 它 与 云 计算 相 结合 。 和 希望 
能 对 读者 有 所 帮助 。 

但 不 管 什么 样 的 算法 和 环境 ， 它 们 仅仅 是 一 种 工具 ， 仍 然 需要 依靠 人 来 提供 原始 的 数据 
分 析 。2008 年 金融 危机 的 时 候 ， 很 多 金融 从 业者 对 金融 模型 产生 了 怀疑， 认为 是 金融 分 析 
工具 的 错误 。 笔 者 个 人 认为 是 不 正确 的 ， 错 误 在 于 人 们 将 错误 的 原始 数据 以 及 错误 的 金融 计 
算 方法 提供 给 了 计算 机 。 事 实 上 这 样 产 生 的 结果 是 一 种 带 有 欺骗 性 的 结果 ， 错 误 在 于 人 而 不 
在 于 他 们 所 使 用 的 工具 。 

而 要 处 理 海量 的 信息 就 需要 一 定 的 金融 计算 工具 ， 所 以 认 清 金融 计算 工具 的 缺陷 ， 避 免 
错误 使 用 与 误 判 ， 在 必要 的 时 候 重 新 审核 算法 以 及 输入 参数 是 非常 重要 的 。 
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Apm ee Se 
第 8 章 提升 办 公 效 率 
ED gp ZIP ie. 
云 计 算 集成 
“难道 云 计算 只 是 为 企业 和 组 织 服务 的 ? 作为 一 个 普通 的 计算 机 使 用 者 ， 云 计算 能 带 给 
我 什么 呢 ?” 这 样 的 问题 笔者 就 曾 被 问 到 过 。 细 细 想 来 ， 像 数据 挖掘 或 者 企业 级 风险 投资 这 
样 的 应 用 跟 普通 计算 机 使 用 者 的 日 常生 活 与 工作 不 搭 边 。 比 如 笔者 的 家 人 ， 他 们 最 熟悉 的 是 
像 Word, Excel, Power Point 等 办 公 软 件 ， 计 算 机 对 他 们 来 讲 除了 娱乐 功能 主要 就 是 普通 的 
数值 计算 。 而 Excel 就 能 提供 强 有 力 的 数值 计算 功能 。 虽 然 这 些 常用 办 公 软 件 的 操作 界面 比 
较 复 杂 ， 但 是 大 多 数 办 公 人 员 对 它们 的 使 用 已 经 比较 熟悉 。 另 外 ， 现 实情 况 是 很 多 时 候 用 户 
无 法 连接 网 络 ， 如 何在 没有 网 络 的 条 件 下 ， 充 分 利用 本 机 或 者 身边 的 计算 资源 快速 搭建 云 计 
算 环境 解决 迫在眉睫 的 计算 问题 ， 这 对 于 增强 云 计 算 环境 的 可 适应 性 及 高 可 用 性 都 是 有 极 大 
好 处 的 。 
FE, RIH Excel 与 云 计 算 集 成 来 解决 一 些 问 题 ， 借 助 这 种 尝试 也 许 对 各 位 读者 的 日 
党 工作 能 带 来 帮助 。 
笔者 将 通过 云 计 算 技术 充分 利用 本 地 计算 机 资源 来 提高 Excel 的 计算 效率 ， 而 且 还 可 以 
在 网 络 条 件 允 许 的 状况 下 ， 利 用 网 络 资源 来 提高 Excel 的 计算 效率 。 












































8.1 Excel 简介 


也 许 有 的 读者 很 熟悉 Excel， 但 是 为 了 满足 大 部 分 读者 ， 尤 其 很 少 接触 Excel 编程 的 读 
者 ， 笔 者 将 用 本 章 前 两 节 对 Excel 以 及 Excel 编程 作 基 础 介绍 ， 如 果 读 者 已 很 熟悉 创建 Excel 
宏 以 及 VBA 编程 ， 请 跳 过 前 两 节 ， 直 接 阅读 8. 3 节 将 Excel 与 云 计算 环境 集成 。 

对 Excel 的 一 般 的 解释 是 : 

Microsoft Excel 是 微软 公司 的 办 公 软 件 Microsoft office 的 组 件 之 一 ， 是 由 微软 为 装 有 Win- 
dows 和 Mac Os 的 计算 机 而 编写 和 运行 的 一 款 表 格 计算 软件 。Excel 是 微软 办 公 套 装 软 件 的 
一 个 重要 的 组 成 部 分 ， 它 可 以 进行 各 种 数据 的 处 理 、 统 计 分 析 和 辅助 决策 操作 ， 被 广泛 地 应 
用 于 管理 、 统 计 财经 、 金 融 等 众多 领域 ， 如 图 8-1 所 示 就 是 Excel 2003 在 桌面 上 的 启动 
图 标 。 














图 8-1 Excel 启动 图 标 


如 何 使 用 Excel 来 实现 上 面 所 介绍 的 这 些 功能 ? 
首先 ， 打 开 Excel 软件 看 一 下 它 的 主 界面 ， 如 图 8-2 所 示 。 
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图 8-2 Excel 主 界面 





毫 无 疑问 这 是 一 个 表格 。 用 户 可 以 在 表格 中 输入 一 些 数据 ， 比 如 表 头 和 数量 ， 并 用 Ex- 
cel 计算 出 来 ， 如 图 8-3 所 示 。 


É3Nicrosoft Excel — 宏 .xls 
150] 文件 到) REO WAV HAU dax IRO 数据 
Ws NEWEIKT BINE AW ESI TIEN ARIA SORA 





E2 ~ 总 =(B2+C2)*D2 
A B C | 

1 数值 数值 2 数值 3 结果 
2 1 1 2l al 





8-3 使 用 Excel 进行 加 法 计算 


通过 Excel 可 以 将 计算 公式 写 在 单元 格 E2 内 ， 以 后 可 以 修改 数值 单元 格 来 快速 得 到 想 
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如 果 Excel 只 拥有 这 人 么 一 点 功能 ， 笔 者 也 不 必 将 它 与 云 计算 扯 上 关系 。 除 了 上 述 和 常见 的 
用 法 之 外 ，Excel 还 提供 录制 宏 与 VBA 编程 来 扩展 它 的 功能 。 使 用 这 些 扩展 功能 便 可 以 将 
Excel 与 云 计 算 环 境 集成 。 


8.1.1 认识 Excel E 


首先 让 我 们 来 认识 一 下 Excel 宏 。 什 么 是 Excel 宏 呢 ? 

在 Excel 中 ,“ 宏 ”是 一 个 难以 理解 的 概念 ， 笔 者 上 学 的 时 候 就 困惑 了 很 长 时 间 。 碰 到 
这 样 的 概念 问题 搞 不 清 时 ， 我 们 不 妨 试验 一 下 ， 动手 录制 个 宏 。 通 过 实践 得 到 这 个 事物 的 
表现 ， 青 分 析 它 的 表现 来 看 它 到 底 是 什么 。 

要 创建 一 个 新 宏 ， 依 次 单 击 “工具 ”一 “ 宏 ” 一 “录制 新 宏 ”， 如 图 8-4 所 示 。 


图 icrosoft Excel - 宏 -zxls 
i50] tO RAD NEV MAD dax | IAN | 数据 四) 
id aiaa aa $ ##S 检 查 @ " 
F2 - Él 信息 检索 到). . ， AltClick 
a wa. ee Ee n mw ERI 
数值 1 数值 2 数值 3 共享 工作 区 Q... EXC 
: 1 HEINO.. 
BPO 
联机 协作 QD 
公式 审核 册 ) 
zn 网 ZW... ALtHFS 
MEEL... 9 SUBEEQ... 
BEX O... 安全 性 @)... 
11 en qo... P] Visual Basic 编辑 器 中) 各 t+F11 
12 9 GA Microsoft 脚本 编辑 器 ..， AlteShifttFll 
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图 8-4 录制 一 个 新 宏 


单 击 “ 录 制 新 宏 ” 菜 单项 后 ， 将 会 弹出 “录制 新 宏 ” 对 话 框 ， 可 以 给 这 个 宏 起 一 个 名 
字 叫 “测试 "， 同 时 可 以 设置 快捷 键 来 快速 调用 宏 ， 如 图 8-5 所 示 。 








快捷 键 QO : 保存 在 QD: 
ctrl+ |r] “|| 当 前 工作 水 
iA M): 
EE Micro User 录制 ， 时间: 2011-2-24 




















图 8-5 “录制 新 宏 ” 对 话 框 和 “停止 安 录制 ”按钮 
现在 便 可 以 录制 一 个 宏 , 设置 Bl 单元 格 的 字体 为 红色 加 粗 。 然 后 单 击 “ 停 止 安 录 制 ” 











按钮 ， 如 图 8-6 所 示 。 





D 
LUE je 数值 3 AR 
1 2 Fi x 


8-6 ”录制 宏 
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还 记得 刚才 为 这 个 宏 设 置 的 快捷 键 〈Ctl +ry 4A? 现在 我 们 选择 DI 单元 格 ， 然 后 按 快 
PERE (Ctrl +r) ， 如 图 8-7 所 示 。 











ET D E 
数值 1 EU uus fg 一 选择 D1， 调 用 宏 的 结果 








图 8-7 使 用 快捷 键 调用 宏 
使 用 宏 就 像 雇佣 了 一 个 永 不 疲倦 的 机 器 人 一 样 ， 用 户 可 以 将 各 种 重复 动作 都 交 给 宏 来 处 
理 ， 只 要 记得 快捷 键 就 行 。 但 这 种 使 用 快捷 键 调用 宏 的 方式 比较 容易 忘记 ， 而 Excel 为 用 户 
提供 了 按钮 控件 。 单 击 “ 视 图 ”一 “工具 栏 ” 一 “ 窗 体 ”， 调 出 窗 体 工具 栏 ， 在 表格 里 添 
加 一 个 按钮 ， 并 指定 宏 ， 如 图 8-8 所 示 。 


A 





Ee es 





Ce ll- e I B 
数值 ”数值 数值 3 结果 





添加 按钮 























| 所 有 打开 的 工作 湾 。 





站 说 明 
I| ZE Micro User 录制 , 时间: 2011-2-26 





图 8-8 添加 按钮 并 指定 宏 


这 样 就 再 也 不 用 担心 会 忘记 宏 调 用 的 快捷 方式 了 。 

通过 这 个 例子 ,我 们 可 以 看 出 宏 将 我 们 从 宏 录 制 时 刻 起 到 宏 录 制 结束 的 时 间 段 内 的 操作 
全 部 都 记录 了 下 来 ， 并 将 它 保存 在 了 Excel 文件 中 〈 详 见 第 8 章 / 宏 .xls) 。 

但 宏 到 底 是 什么 ? CE Excel 文件 中 究竟 是 以 什么 样 的 形式 存在 的 ? 下面 我 们 再 次 调 出 
按钮 的 指定 安 菜 单 ， 右 键 单 击 “调用 宏 ” 按 钮 ， 选 择 “ 指 定安 ”， 如 图 8-9 所 示 。 
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说 明 
宏 由 Micro User 录制 ， 时间: 2011-2-26 











图 8-9 “HER” XWA 
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在 “指定 宏 ” 对 话 框 中 ， 单 击 “ 编 辑 ” 按 钮 ， 将 看 到 一 个 全 新 的 编辑 窗口 ， 这 个 窗口 
叫 Microsoft Visual Basic 编辑 窗口 (Basic 语言 编辑 器 ，Excel 中 的 Basic 是 由 微软 公司 开发 
的 ， 它 最 初 的 实现 者 是 微软 创始 人 比尔 : 六 次 )， 如 图 8-10 所 示 。 
E LETEN ft Visual Basic - X.xls - [模块 1 (代码 )] 


i4 O SEO NDV MA EIO MEY 运行 IAO 外接 程序 ) SOW WHW 键入 需要 帮助 的 问题 
iBd RA Nm Mee MN Wr WAR S 3 2] (9 









































图 8-10 Microsoft Visual Basic 编辑 窗口 


之 前 录制 的 测试 宏 事实 上 是 使 用 Basic 语言 编写 的 程序 ， 其 代码 如 代码 清单 8-1 所 示 。 
【代码 清单 8-1 ]】 








' 测试 Macro 
' RH Micro User 录制 ,时间 : 2011 -2 -26 


' 快捷 键 (Ctrl +r) 


1 





Selection. Font. ColorIndex =3 
Selection. Font. Bold = True 
End Sub 


这 段 代码 一 共 两 行 ， 一 行 是 将 文字 颜色 设 为 红色 。 另 一 行 则 是 将 文字 设 为 粗 体 。 

我 们 录制 的 宏 最 后 成 为 了 一 个 用 Basic 编写 的 代码 段 或 者 叫 Sub. (读者 也 可 以 把 Sub FE 
解 成 一 个 由 代码 组 成 的 集合 ) ， 这 上段 代码 存储 在 Excel 文件 中 。 

现在 我 们 知道 了 宏 其 实 就 是 一 段 用 Basic 语言 编写 的 程序 ， 我 们 是 否 可 以 直接 使 用 Excel 
自 带 的 Basic 语言 编写 程序 来 做 更 多 的 事 ? 

答案 是 肯定 的 ， 在 下 一 节 笔 者 将 简要 介绍 Excel Basic 语言 开发 。 








8.1.2 Excel VBA 简介 


前 一 节 提 到 了 在 Excel 中 使 用 Basic 语言 来 记录 宏 。 在 Excel 中 Basic 语言 有 一 种 特殊 的 
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叫 法 ， 即 Visual Basic For Application( VBA), Æ VBA 之 前 ， 用 户 如 果 将 办 公 软 件 自 动 化 ， 
不 得 不 学 习 几 种 语言 ， 比 如 使 用 Word Basic 使 Word 自动 化 ，Excel Basic 使 Excel 自动 化 ， 
还 有 专门 为 Power Point 等 设计 的 办 公 自 动 化 语言 。20 世纪 90 年 代 末 ， 微 软 公 司 决定 让 这 些 
办 公 软 件 共享 统一 的 自动 化 语言 ， 也 就 是 我 们 现在 看 到 的 VBA。 如 果 读 者 使 用 过 Visual Bas- 
ic(VB) ， 可 以 将 VBA 视 为 VB 的 办 公 自 动 化 版 本 。 

f& VBA 这 样 的 办 公 自 动 化 语言 还 有 一 种 叫 法 ， 即 “脚本 语言 "， 它 与 Java，C 或 VB 语 
言 的 不 同 之 处 在 于 ， 脚 本 语言 不 需要 编译 ， 它 们 由 应 用 所 带 有 的 解释 器 在 运行 期 间 逐 条 执 
行 。 而 Java，C 或 VB 语言 需要 编译 生成 Class 文件 或 Exe 文件 ， 执 行 时 也 不 需要 解释 器 。 

VBA 虽然 是 一 种 脚本 语言 但 它 与 编译 型 语言 在 语法 上 有 很 多 共同 之 处 。 读 者 只 要 掌握 
了 一 种 编程 语言 的 语法 ， 就 可 以 很 快 上 手 编写 自己 的 Excel 自动 化 程序 。 


8.1.3 Excel VBA 编程 环境 


编辑 Excel VBA 程序 只 需要 安装 微软 的 Excel 程序 ， 然 后 调 出 VBA 编辑 器 Visual Basic 
Editor (VBE) 即 可 开始 编写 Excel VBA 程序 。 

VBE SLE VIRA T. Excel 中 的 程序 编辑 器 ， 要 运行 VBE 必须 先 运行 Excel，VBA 程序 与 
Excel 工作 薄 文件 存储 在 同一 个 文件 中 (读者 也 许 好 奇 这 个 文件 是 怎么 存储 的 ， 简 单 地 说 
Excel 使 用 了 复合 文件 格式 ， 感 兴趣 的 读者 可 以 找 更 多 关于 微软 复合 文件 格式 的 资料 阅读 ) , 
除非 激活 VBE, WW) VBA 程序 是 看 不 见 的 。 

要 在 Excel 中 打开 VBE 有 两 种 方式 : 

e 使 用 快捷 键 《Alt FIT) 

e 单 击 菜单 “工具 ”一 “ 宏 ” 一 “Visual Basic 编辑 器 ”， 如 图 8-11 所 示 。 


a8 Nicroso: ft Visual Basic — ZX.xls [设计 ] - [8351 (代码 )] Hek) 
键入 需要 帮助 的 问题 Bx 




































ag fes D " 
c Han w) Shi ft+FT 





ED Shi ft+F2 
n 最 后 位 置 CtrltShifttF2 
J PUTES T 录制 ， 时 间 : 2011-2-26 工具 栏 菜单 栏 
JE MEOD , Ctrl+G 
EE Pe trek 
&a| 监视 窗口 由 
gi ARE QO Ctrl+L 断 点 
ss | 二 | 工程 资源 管理 器 @E) Ctrl+R 

属性 窗口 由) F4 

3g LRé& 00 * 

Tab 键 顺 序 A) Em —— AER 
mea H 
Microso: ft Excel — AlCHEll 





























代码 窗口 


[UTE S 

















断 点 设置 栏 





























图 8-11 VBE 窗口 
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如 图 8-11 所 示 ，VBE 窗口 主要 包括 : 

1) 工程 管理 窗口 : 主要 展示 VBA 工程 中 的 各 种 对 象 ， 比 如 表单 、 工 作 禾 、 宏 模块 等 。 

2) 属性 窗口 : 单 击 一 个 VBA 对 象 ， 在 该 窗口 中 将 显示 此 对 象 的 属性 ， 如 图 8-11 所 
示 ， 显 示 宏 模块 属性 

3) 菜单 栏 和 菜单 。 

4) 代码 窗口 : 代码 编辑 窗口 ， 开 发 人 员 可 以 在 该 窗口 中 编辑 代码 。 

5) BAKER.: VBA 提供 断 点 设置 功能 ， 设置 断 点 后 ,程序 在 运行 期 间 会 停 到 断 点 
位 置 ， 以 供 开 发 人 员 调 试 。 

6) 立即 窗口 : 在 程序 编写 过 程 中 ， 开 发 人 员 难 免 会 需要 调试 某 条 语句 ， 这 时 可 以 将 某 
条 语句 放 到 立即 窗口 中 执行 。 

















8.1.4 Excel VBA 编程 


对 一 种 新 编程 语言 的 使 用 ， 很 多 开发 人 员 在 一 开始 难免 有 疏 惧 心理 ， 笔 者 在 学 习 
新 编程 语言 的 时 候 同 样 也 有 过 这 样 的 心理 ,但 通过 学 习 越 来 越 多 的 编程 语言 ， 笔 者 
觉得 想 要 快速 上 手 一 种 新 语言 并 不 困难 。 可 以 学 习 新 语言 的 一 个 示例 程序 ， 并 把 握 
住 新 语言 与 所 使 用 过 的 编程 语言 的 不 同 点 ， 它 们 一 般 是 : 变量 声明 ， 函 数 声 明 ， 类 
声明 以 及 循环 体 。 抓 住 新 语言 的 不 同 点 ， 剩 下 的 部 分 完全 可 以 遵循 其 他 语言 的 编程 
JR, EA H E. 

现在 让 我 们 来 看 一 个 VBA 版 的 Hello World 程序 ， 然 后 学 习 VBA 编程 的 基本 
语法 。 

首先 ， 在 视图 工具 栏 中 调 出 控件 工具 箱 。 依 次 单 击 “ 视 图 ”一 “工具 栏 ” 一 “ 控件 工 
具 箱 ”( 使 用 控件 工具 箱 创建 VBA 按钮 ， 与 之 前 看 到 的 窗 体 工 具 箱 不 同 ， 窗 体 工 具 箱 一 般 
用 来 和 宏 配 合 使 用 ) 。 

如 图 8-12 所 示 ， 生 成 一 个 名 为 Hello World 的 按钮 ， 双 击 该 按钮 后 VBE 会 自动 生成 相 
应 的 按钮 响应 方法 Sub. HelloWorld_Click( ) 。 














o o 
o Hello World 








控件 工具 





m 
E: 






roject 








pim Sub HelloWorld Click) 


End Sub 


控 
èz 
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双击 按钮 后 ， 产 生 的 代码 


RE- STI 
-HelloWorld CommandButton - 修改 按钮 名 称 


按 字母 序 | 按 分 类 序 | 





图 8-12 使 用 控件 工具 箱 生 成 按钮 








237 


云 计 算 : 应 用 开发 实践 


将 代码 清单 8-1 中 的 代码 加 入 到 方法 Sub HelloWorld_Click( ) 中 ， 如 代码 清单 8-2 所 示 。 
【代码 清单 8-2]】 


' 弹出 对 话 框 向 世界 问好 
Private Sub HelloWorld_Click( ) 
Dim str As String 
str = " Hello World" 
MsgBox str 
End Sub 








执行 结果 如 图 8-13 所 示 (注意 在 单 击 Hello World 按钮 前 要 在 控件 工具 箱 中 退出 设计 


模式 ) 。 
Hello Vorld | 


Nicrosoft Excel EJ 


Hello World 














图 8-13 执行 VBA Hello Word 程序 


读者 现在 应 该 对 VBA 有 了 一 个 初步 印象 ， 接 下 来 学 习 一 下 VBA 的 基本 语法 ( 如果 读 者 
对 下 面 的 解释 还 有 什么 疑问 的 话 ，8. 2 节 将 会 有 一 个 较为 真实 的 案例 供 读者 参考 ) 。 

1. 变量 声明 

VBA 声明 变量 的 方式 为 “Dim 变量 名 As 变量 类 型 "。 需 要 注意 的 是 ，VBA 还 支持 直接 
给 变量 赋值 ， 而 不 声明 它 的 类 型 ， 笔 者 以 为 这 不 是 一 个 良好 的 编程 习惯 ， 并 且 不 声明 变量 > 
型 的 方法 ,会 使 VBA 不 得 不 在 运行 期 判断 变量 类 型 ， 导 致 运行 速度 降低 。 所 以 在 这 里 就 建 
议 使 用 了 。 

VBA 中 常用 的 数据 类 型 如 表 8-1 所 示 。 











表 8-1 常用 VBA 数据 类 型 




















数据 类 型 存储 空间 大 小 范 M 
Boolean (布尔 类 型 ) 2Byte True 或 False 
Integer. ( 短 整 型 ) 2Byte -32 768 到 32 767 
Long (长 整 型 ) 4Byte -2 147 483 648 到 2 147 483 647 
- — 负数 时 从 -3.402823E38 到 —1. 401298E -45; 
SHE CREME i 正 数 时 从 1. 401298E -45 到 3. 402823E38 





负数 时 从 - 1. 79769313486232E308 到 — 4. 94065645841247E - 324; 


















































an nid 正 数 时 从 4. 94065645841247E — 324 到 1. 79769313486232E308 
String 〈 字 符 串 类 型 ) 字符 串 长 度 “|0 ~65536 

Date (日 期 类 型 ) 8Byte 100 年 1 月 1 日 到 9999 年 12 月 31 日 

Object (对 象 类 型 ) 4Byte 任何 Object 引 


238 





提升 办 公 效 率 一 一 Excel 与 云 计算 集成 | $8* 


实际 上 VBA 还 有 很 多 数据 类 型 ， 但 笔者 认为 以 上 所 列 对 于 一 般 的 开发 就 足够 使 用 ， 如 
果 想 了 解 更 多 ， 不妨 在 Excel 中 按 (Fl1〉 键 ,那里 有 更 多 的 解释 。 

2， 函 数 声明 

一 般 地 ，Excel 的 函数 声明 为 以 Sub 开始 的 方法 ， 如 代码 清单 8-1 所 示 ， 这 种 声明 
一 般 不 带 有 函数 返回 值 。 另 外 还 有 一 种 用 Function 声明 函数 的 方法 。 如 代码 清单 8-3 
所 示 。 

【代码 清单 8-3] 











' 声明 一 个 函数 
Function metod( ByVal 参数 名 As 变量 类 型 ) 


End Function 
这 种 定义 方法 可 以 将 返回 值 赋 给 方法 名 ， 从 而 将 结果 返回 给 被 调用 代码 。 


3. 类 声明 
在 VBA 中 声明 一 个 类 不 光 是 写 代 码 ， 还 需要 右键 单 击 “ Microsoft Excel 对 象 ”一 “ 


入 ”一 “类 模块 "， 如 图 8-14 所 示 。 









SERE) 
zHÉOHSR() 
VBAProject BIE Œ)... 

















tr = “Hello World” 
sgBox str 












2.85 模块 
ét 模块! 3| 用 户 窗 体 四 
导入 文件 四 a EOD 
Sunt 多 ) O 类 模块 加 


8-14 在 VBA 中 声明 一 个 类 


单 击 “ 类 模块 ”命令 后 ， 就 创建 了 一 个 类 ， 通 过 属性 窗口 ， 可 以 将 这 个 类 名 设置 为 
testClass， 并 为 其 添加 一 个 方法 ， 如 代码 清单 8-4 所 示 。 
【代码 清单 8-4]】 


' 给 testClass 增加 一 个 方法 
Public Sub helloClass( ) 
MsgBox " Hello Class" 
End Sub 


调用 这 个 类 的 代码 如 代码 清单 8-5 所 示 。 
【代码 清单 8-5】 
Dim aClass As testClass 


Set aClass = New testClass 


aClass. helloClass 
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4. 循环 体 

常用 的 两 种 循环 体 一 般 是 For 循环 和 While 循环 ， 如 代码 清单 8-6 和 代码 清单 8-7 
所 示 。 

【 代码 清单 8-6]】 


' For 循环 
For k «0 To 循环 次 数 
Next k 


【代码 清单 8-7】 


' While 循环 
Do While 条 件 
Loop 


VBA 编程 大 体 如 上 所 述 ， 要 想 熟悉 VBA 开发 ， 读 者 还 要 多 多 实践 。 


= 使 用 Excel 进行 蒙特 卡 罗 模 拟 


过 8.1 DE eH d 也 许 读者 会 觉得 比较 乏味 ， 下 面 通过 一 个 例子 来 做 进 一 
mos 在 第 7 章 中 曾经 介绍 了 使 用 蒙特 卡 罗 模 拟 做 投资 分 析 ， 并 使 用 Java 语言 实 
ATP ELERIN. 事实 上 我 们 也 可 以 通过 VBA 编程 在 Excel 里 实现 同样 
的 程序 。 


8.2.1 需求 分 析 


假定 投资 1000 万 元 给 某 个 项 目 , 该 项 目 预 期 年 销售 收入 670 万 元 ， 年 销售 税金 15 万 

， 年 经 营 成 本 390 万 元 ， 年 折旧 费 65 万 元 ， 收 入 与 成 本 的 波动 率 变化 幅度 都 为 20% ， 计 
mk 益 率 大 于 15% 的 概率 。 我 们 使 用 蒙特 卡 罗 模 拟 算法 计算 概率 (如果 读 者 忘 了 蒙特 卡 罗 
算法 是 怎么 回 事 ， 请 参考 第 7 章 的 内 容 ) 。 
在 Excel 中 ， 我 们 和 希望 通过 在 单元 格 中 输入 投资 参数 ， 并 直接 在 Excel 中 得 到 运算 结果 。 
这 个 程序 的 界面 设计 如 图 8-15 所 示 。 




















总 投资 年 销售 税金 年 折旧 费 预期 收益 率 采样 次 数 年 销售 收入 预期 ” 年 经 营 成 本 预期 WAE 
1000 15 65 0.15 1000 670 390 0. 
Excel 本 地 计算 


变化 概率 
当 销 售 收入 变化 时 , 预期 收益 率 >= 预期 收益 率 
当 经 营 成 本 变化 时 , 预期 收益 率 >= 预期 收益 率 
当成 本 和 收入 都 发 生 波动 时 , 预期 收益 率 >= 预期 收益 率 














图 8-15 使 用 Excel HETIL AATA 
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8.2.2 VBA 编码 实现 


1. 获取 单元 格 中 的 输入 参数 

根据 上 面 的 需求 分 析 ， 首 先 需要 从 Excel 的 单元 格 中 获取 所 需要 的 数据 。 

获取 单元 格 内 的 数据 一 般 可 以 使 用 Cells 对 象 或 Range 对 象 。Cells 对 象 必 须 使 用 确切 的 
行列 号 来 获得 单元 格 的 值 ， 而 Range 则 可 以 使 用 标签 地 址 。 

比如 取得 BS 单元 格 的 值 ， 若 使 用 Cells 对 象 需要 用 Cells(5, 2). Value。 而 使 用 Range 对 
象 获取 则 要 用 Range( B5) . Value。 

具体 取得 单元 格 值 的 代码 如 代码 清单 8-8 所 示 。 

【代码 清单 8-8]】 


' 在 单元 格 中 获取 所 需 的 数据 
' B5 单元 格 中 的 数据 为 总 投资 
Dim investMent As Double 
investMent = Cells( 5, 2). Value 





2， 确 定 随机 采样 点 的 计算 方法 

使 用 蒙特 卡 罗 模 拟 算 法 必须 要 用 随机 算法 生成 指定 范围 的 随机 数 。VBA 提供 了 
Rnd 方法 取得 0 到 1 之 间 的 双 精 度 浮 点 随机 数 。 由 于 程序 主要 是 受 收 入 与 成 本 变化 的 
影响 ， 因 此 利用 Rad 方法 并 结合 变化 范围 ， 可 以 得 到 ， 随 机 收入 与 成 本 ， 如 代码 清 
单 8-9 所 示 。 

【 代码 清单 8-9】 

















' 生成 随机 变量 

' 根据 估计 收入 与 变化 范围 得 到 随机 收入 

Private Function getRandomInCome( ByVal wave As Double, ByVal income As Double) 
Dim Min As Double 





Min = 1 - wave 
Dim Max As Double 
Max = 1 + wave 
getRandomInCome = income * (Min - (Rnd * (Max -Min))) 
End Function 
' 根据 估计 成 本 与 变化 范围 得 到 随机 成 本 
Private Function getRandomCost( ByVal wave As Double，ByVal cost As Double ) 
Dim Min As Double 
Min = 1 - wave 
Dim Max As Double 
Max = 1 + wave 
getRandomCost = cost * (Min +(Rnd * (Max - Min))) 


End Function 
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云 计 算 : 应 用 开发 实践 
3. 多 次 循环 取得 概率 值 


fig: 


环 会 产生 随机 采样 点 ， 选 择 那 些 收益 率 大 于 1590 的 点 ， 并 取得 所 有 采样 点 的 总 数 ， 








最 后 就 可 以 计算 出 概率 。 分 别 就 收入 发 生变 化 ， 成 本 发 生变 化 以 及 成 本 和 收入 都 发 生变 化 时 





计算 收益 


Iri. 
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率 ， 并 计算 出 每 种 变化 收益 率 大 于 15% 的 概率 ， 如 代码 清单 8-10 所 示 。 





[ 87$ 8 8-10] 


' 多 次 循环 取得 概率 值 
Dim evaluationTime As Long 
evaluationTime =0 

Dim expected As Long 
expected =0 


' 当 销 售 收入 变化 时 ,投资 收益 率 = (670* (1+ 变 化 幅度 ) -15 -390 -65)/1000 
Do While evaluationTime < evaluationNum 

Dim a As Double 

a = getRandomInCome( wave, income) 

Dim rate As Double 

rate = (a — duty ~ cost — depreciation) / investMent 


evaluationTime = evaluationTime + 1 


If rate >= expectRate Then 
expected = expected + 1 
End If 
Loop 
Cells( 12, 6). Value = expected / evaluationTime 


' 当 经 营 成 本 变化 时 ,投资 收益 率 = (670 -15-390 * (1 + 变化 幅度 ) -65)/1000 
evaluationTime =0 
expected =0 
Do While evaluationTime < evaluationNum 
Dim b As Double 
b = getRandomCost( wave, cost) 
rate = ( income - duty — b — depreciation) / investMent 


evaluationTime = evaluationTime + 1 


If rate >= expectRate Then 
expected = expected + 1 
End If 
Loop 
Cells( 13, 6). Value = expected / evaluationTime 
， 当 销售 收入 与 经 营 成 本 同时 变化 时 ， 
' 投资 收益 率 = (670 * (1 + 变化 幅度 ) -15 -390* (1+ 变 化 幅度 ) -65)/1000 


evaluationTime =0 





expected =0 
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Do While evaluationTime < evaluationNum 
a= getRandomInCome( wave, income) 
b = getRandomCost( wave, cost) 
rate = (a — duty - b — depreciation) / investMent 


evaluationTime = evaluationTime + 1 


If rate >= expectRate Then 
expected = expected + 1 
End If 
Loop 
Cells( 14, 6). Value = expected / evaluationTime 





单 击 “Excel 本 地 计算 ”按钮 ， 得 到 执行 结果 如 图 8-16 所 示 (请 读者 参见 光盘 中 的 代 
人 码 sample8 V Excel 蒙特 卡 罗 模 拟 . xls) 。 


总 投资 年 销售 税金 年 折旧 费 预期 收益 率 采样 次 数 年 销售 收入 预期 年 经 营 成 本 预期 WAR WARM 
1000 15 65 0.15 1000000 670 390 0.2 1 


Excel 本 地 计算 

变化 概率 计算 时 间 
当 销 售 收入 变化 时 , 预期 收益 率 >= 预期 收益 率 0. 686806 1. 59375 
当 经 营 成 本 变化 时 , 预期 收益 率 >= 预期 收益 率 0. 820814 
当成 本 和 收入 都 发 生 波动 时 , 预期 收益 率 >= 预期 收益 率 0. 687067 





图 8-16 蒙特 卡 罗 模 拟 投资 分 析 结果 


通过 8. 1 节 和 8.2 节 的 描述 ， 相 信 读 者 已 经 对 使 用 Excel 开发 应 用 有 了 一 个 基本 认识 。 
在 下 一 节 我 们 将 把 Excel 与 云 计算 结合 在 一 起 。 


|8. 3 将 Excel 与 云 计 算 环 境 集成 


通过 VBA 编程 ， 我 们 扩展 了 Excel 的 计算 能 力 ， 并 且 只 要 我 们 有 足够 多 的 想法 ， 就 可 以 创 
造 出 更 多 的 VBA 程序 来 扩展 Excel。 但 上 面 介绍 的 方法 ， 当 采样 数量 增加 时 ， 运 算 速度 就 会 下 
降 。 比 如 对 同样 的 蒙特 卡 罗 模 拟 计 算 1 次 ， 计 算 时 间 为 1. 59375s， 如 图 8-16 所 示 。 

而 当 我 们 计算 10 次 取 平 均值 时 ， 计 算 时 间 为 15.265625s， 如 图 8-17 所 示 。 

















总 投资 年 销售 税金 年 折旧 费 预期 收益 率 采样 次 数 年 销售 收入 预期 ”年 经 营 成 本 预期 ”波动 率 ”计算 次 数 
1000 15 65 0.15 1000000 670 390 0.2 10 
Excel 本 地 计算 
变化 概率 计算 时 间 
当 销 售 收 入 变化 时 , 预期 收益 率 >= 预期 收益 率 0. 6866003 15. 265625 
当 经 营 成 本 变化 时 , 预期 收益 率 >= 预期 收益 率 0. 8207045 
当成 本 和 收入 都 发 生 波动 时 , 预期 收益 率 >= 预期 收益 率 0. 6865901 


图 8-17 对 蒙特 卡 罗 模 拟 计算 10 次 取 均 值 


将 图 8-17 与 图 8-16 对 比 可 知 计算 10 次 是 计算 1 次 时 间 的 10 倍 ， 换 名 话说 ， 当 计算 量 
与 数据 量 增 大 的 同时 ，Excel 的 运算 速度 也 就 相应 下 降 。 
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而 现在 的 计算 机 一 般 都 拥有 多 核 ， 显 然 可 以 使 用 多 线程 编程 技术 来 将 计算 分 配 到 多 个 处 
理 器 上 执行 ， 但 使 用 VBA 的 多 线程 编程 技术 ， 就 不 得 不 学 习 更 加 复杂 的 函数 库 以 及 处 理 线 
程 同 步 、 线 程 死 锁 等 问题 。 有 没有 办 法 可 以 充分 利用 多 核 CPU 而 又 不 必 有 编写 过 于 复杂 的 
VBA 程序 ， 让 那些 底层 的 并 行 计算 自动 完成 ? 云 计 算 中 的 网 格 计算 技术 就 提供 了 很 好 的 编 
程 模型 ， 开 发 人 员 不 需要 关心 线程 或 者 进程 如 何 编写 ， 只 要 把 大 份 工作 切 成 小 份 工 作 ， 然 后 
将 小 份 工 作 同时 交 给 网 格 计算 软件 ， 最 后 汇总 结果 就 可 以 。 前 面 几 童 提 到 的 Hadoop 以 及 
Symphony DE 都 是 这 样 的 软件 ， 相 信 通 过 前 面 几 章 的 学 习 ， 读 者 已 经 熟悉 了 它们 的 使 用 方 
式 。 并 且 在 第 7 章 ， 我 们 已 经 使 用 Symphony DE 创建 了 相应 的 风险 投资 应 用 ， 如 果 可 以 使 用 
Excel 访问 ， 将 节省 大 量 的 开发 时 间 。 

要 将 Excel 与 云 计算 相 结合 ， 就 需要 使 用 Excel 相应 的 技术 。Excel 提供 了 通过 插件 进行 
功能 扩展 的 可 能 。 通 过 编写 和 安装 插件 ,将 可 以 使 Excel 与 其 他 软件 进行 集成 ， 为 工作 提供 
极 大 的 便利 。 开 发 这 样 的 插件 一 般 需 要 使 用 COM 组 件 技术 。 

COM 组 件 是 微软 公司 为 了 计算 机 工业 的 软件 生产 更 加 符合 人 类 的 行为 方式 而 开发 的 一 
种 软件 开发 技术 。 在 COM 构架 下 ， 开 发 人 员 可 以 开发 出 各 种 功能 专 一 的 组 件 ， 然 后 将 它们 
按照 需要 组 合 起 来 ， 构 成 复杂 的 应 用 系统 。 由 此 带 来 的 好 处 是 多 方面 的 : 可 以 将 系统 中 的 组 
件 用 新 的 替换 掉 ， 以 便 随 时 进行 系统 的 升级 和 定制 ; 可 以 在 多 个 应 用 系统 中 重复 利用 同一 个 
组 件 ; 可 以 将 应 用 系统 扩展 到 网 络 环境 下 ; COM 与 语言 、 平 台 无 关 的 特性 使 所 有 的 程序 员 
均 可 充分 发 挥 自 己 的 才智 与 专长 编写 组 件 模 块 。 

COM 组 件 是 在 20 世纪 90 年 代 末 提出 的 ， 虽然 有 些 陈 旧 ， 但 却 在 Windows 系统 开发 上 
有 着 不 可 替代 的 作用 ， 很 多 Windows 程序 都 是 通过 COM 组 件 来 实现 扩展 的 。 

在 这 里 ， 并 不 介绍 如 何 编 写 一 个 COM 组 件 程序 ， 而 是 侧重 于 如 何 使 用 已 有 的 COM 组 件 。 


8.3.1 Symphony DE COM 组 件 简介 


Symphony DE Z& Er Hf? COM 组 件 ， 可 以 用 来 跟 Excel 进行 集成 ， 并 将 Excel 的 计算 工作 
并 行 化 。 

Symohony DE 的 COM 组 件 位 于 Symphony DE 安装 目录 \DE50\5. 0\win32 -ve7\lib\COM\ 
Platform. Symphony. Soam. COM. dll, 

从 Excel 中 调 出 VBE, 在 VBE 中 单 击 “ 工 具 ” 一 “引用 ”， 如 图 8-18 所 示 。 









































引用 = VBAProject 


可 使 用 的 引用 Q0 : 





v Visual Basic 
v Microso ft Ex 
VIOLE Automation 
ft Office 11.0 Object Libra 
Microsoft Forms 2.0 Object Librar: 


For Àpplications ^ 
el 11.0 Object Librar: 





c 


Platform. Symphony. Soam. COM 1.0 Typ 
IAS Helper COM Component 1.0 Type 
IAS RADIUS Protocol 1.0 Type Lib: 

ccess 3.0 Type Library 





rokerLi 
elper 1.0 Type Library 
EHelperShim 1.0 Type Library 
ctive DS Type Library "m 
Activa Satun ÜContvrol Tihrarm - 
> 





Platform. Symphony. Soam. COM 1.0 Type Library 


定位 : C:ASymphonyDEADE50\5. Ovi n32-vcTXLi bACOMM Platform. 
语言 : 标准 








图 8-18 引用 Symphony DE COM 组 件 
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Excel 允许 选择 COM 组 件 对 象 ， 通 过 对 COM 组 件 对 象 库 的 引用 ， 开 发 人 员 可 以 在 代码 
中 使 用 它 (Symphony DE 5. 0 版 本 的 COM 组 件 支持 Excel 2003) 。 











8.3.2 Excel 与 Symphony DE 集成 


前 面 提 到 ， 扩 展 Excel 需要 使 用 COM 组 件 ， 而 Symphony DE 刚好 有 自 带 的 COM 组 件 ， 
开发 人 员 可 以 利用 VBA 调用 COM 组 件 来 与 Symphony DE 集成 。 下 面 来 看 看 具体 的 工作 
流程 。 

如 图 8-19 所 示 ， 在 Excel 中 调用 COM 组 件 与 Symphony DE 集成 ， 在 结构 上 主要 分 为 三 
大 部 分 ， 分 别 是 Excel X im, Symphony DE 并 行 计 算 控 制 器 以 及 运行 在 服务 需 上 的 应 用 服 
务 。 这 其 中 应 用 服务 可 充分 利用 多 核 处 理 器 在 本 地 运行 ， 并 在 需要 的 时 候 在 服务 端 运行 ， 以 
获得 更 多 的 计算 资源 和 数据 资源 。 


Excel 与 Symphony DE 集成 工作 流程 


将 输入 的 消息 传递 给 a 
Symphony DE 展示 输出 消息 








Excel 















































m 
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图 8-19 Excel 与 Symphony DE 集成 工作 流程 图 


8.3.3 Excel 蒙特 卡 罗 模 拟 投资 分 析 客 户 端 编码 实现 


根据 图 8-19 所 示 的 工作 流程 ， 使 用 Excel 进行 蒙特 卡 罗 模 拟 投资 分 析 的 客户 端 代码 主 
要 包括 封装 输入 参数 、 封 装 输出 参数 、 发 送 输 出 参数 、 接 收 输出 参数 以 及 展示 结果 。 

1. 封装 输入 参数 

封装 输入 参数 的 代码 如 代码 清单 8-11 所 示 。 

【代码 清单 8-11 】 




















' 输入 消息 
Option Explicit 


Implements ISoamMessage 


C 总 投资 

Private m_investMent As Double 
' 年 销售 税金 
Private m. duty As Double 
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' 年 折旧 费 

Private m_depreciation As Double 
' 预期 收益 率 

Private m_expectRate As Double 
' 采样 次 数 


Private m_evaluationNum As Double 


























' 年 销售 收入 预 共 
Private m_income As Double 
年 经 营 成 本 预 
Private m_cost As Double 
E 


Private m, wave As Double 














1 





Private Sub Class Initialize( ) 
End Sub 


Public Sub ISoamMessage. OnDeserialize( ByVal InputStream As ISoamInputStream ) 
On Error GoTo ReturnFailure 
Debug. Print " Enter ISoamMessage. OnDeserialize. " 
m, investMent = InputStream. ReadDouble( ) 
m, duty = InputStream. ReadDouble( ) 
m, depreciation = InputStream. ReadDouble( ) 
m. expectRate = InputStream. ReadDouble( ) 
m, evaluationNum = InputStream. ReadDouble( ) 
m, income = InputStream. ReadDouble( ) 
m. cost = InputStream. ReadDouble( ) 
m, wave = InputStream. ReadDouble( ) 
Debug. Print " Exit ISoamMessage. OnDeserialize. " 
Exit Sub 
ReturnFailure; 
Debug. Print " Error inside ISoamMessage. OnDeserialize; " & Err. Description 
Err. Clear 
End Sub 


Public Sub ISoamMessage. OnSerialize( ByVal OutputStream As ISoamOutputStream ) 
On Error GoTo ReturnFailure 


Debug. Print " Enter ISoamMessage. OnSerialize. " 


OutputStream. WriteDouble ( m. investMent ) 
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OutputStream. WriteDouble ( m. duty ) 
OutputStream. WriteDouble ( m. depreciation ) 
OutputStream. WriteDouble ( m. expectRate ) 
OutputStream. WriteDouble ( m. evaluationNum ) 
OutputStream. WriteDouble ( m. income) 
OutputStream. WriteDouble ( m. cost) 
OutputStream. WriteDouble ( m, wave) 
Debug. Print " Exit ISoamMessage. OnSerializ. " 

Exit Sub 
ReturnFailure; 

Debug. Print " Error inside ISoamMessage. OnSerialize; " & Err. Description 

Err. Clear 
End Sub 


Property Get investMent( ) As Double 
investMent = m, investMent 


End Property 
Property Let investMent( ByVal investMent As Double) 


m, investMent = investMent 
End Property 
2. 封装 输出 参数 


封装 输出 参数 的 代码 如 代码 清单 8-12 所 示 。 
【代码 清单 8-12 】 








' 输出 消息 
Option Explicit 


Implements ISoamMessage 





， 当 销售 收入 变化 时 ,预期 收益 率 >= 预期 收益 率 的 概率 
Private m_rate4IncomeChange As Double 
' 当 经 营 成 本 变化 时 ,预期 收益 率 >= 预期 收益 率 的 概率 

Private m_rate4CostChange As Double 

' 当成 本 和 收入 都 发 生 波动 时 ,预期 收益 率 >= 预期 收益 率 的 概率 


Private m_rate4CostIncomeChange As Double 





























Private Sub Class. Initialize( ) 
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End Sub 


Public Sub ISoamMessage_OnDeserialize( ByVal InputStream As ISoamInputStream ) 
On Error GoTo ReturnFailure 
Debug. Print " Enter ISoamMessage. OnDeserialize. " 
m, rate4IncomeChange = InputStream. ReadDouble( ) 
m, rated CostChange = InputStream. ReadDouble( ) 
m, rate4CostIncomeChange = InputStream. ReadDouble( ) 
Debug. Print " Exit ISoamMessage. OnDeserialize. " 
Exit Sub 
ReturnFailure : 
Debug. Print " Error inside ISoamMessage_OnDeserialize; " & Err. Description 
Err. Clear 
End Sub 


Public Sub ISoamMessage, OnSerialize( ByVal OutputStream As ISoamOutputStream ) 
On Error GoTo ReturnFailure 
Debug. Print " Enter ISoamMessage. OnSerialize. " 


OutputStream. WriteDouble ( m. ratedIncomeChange ) 


OutputStream. WriteDouble ( m. rated CostChange ) 
OutputStream. WriteDouble ( m. rate4CostIncomeChange ) 


Debug. Print " Exit ISoamMessage. OnSerializ. 
Exit Sub 

ReturnFailure; 
Debug. Print " Error inside ISoamMessage. OnSerialize; " & Err. Description 
Err. Clear 

End Sub 

Property Get ratedIncomeChange( ) As Double 
rate4 IncomeChange = m. rate4 IncomeChange 

End Property 

Property Let ratedIncomeChange ( ByVal rate4IncomeChange As Double) 


m. rated IncomeChange = rate4IncomeChange 


End Property 
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3. 发 送 输出 参数 
发 送 输出 参数 的 代码 如 代码 清单 8-13 所 示 。 
【代码 清单 8-13 】 





' 发 送 输出 参数 


1 


' 初始 化 网 格 软件 


' 








Dim connection As CSoamConnection 
' 初始 化 
Set soamApi = New CSoamAPI 


soamApi. Initialize 


从 表格 中 得 到 网 格 服务 名 称 
Dim AppName As String 


AppName = CStr( Range( " B19" ). Value) 














' 提供 访问 网 格 的 用 户 名 与 密码 
Dim callback As IDefaultConnectionSecurityCallback 
Set callback = New CDefaultConnectionSecurityCallback 
Call callback. Init( " Guest" , " Guest" ) 


连接 网 格 


Set connection = soamApi. Connect( AppName, callback) 


Range( " B25" ). Value = " Connection ID " & connection. ID 
设置 Session 属性 


Dim attributes As CSoamSessionCreationAttributes 





Set attributes = New CSoamSessionCreationAttributes 
attributes. SessionName = " ShortRunningTasks" 
attributes. SessionType = " ShortRunningTasks" 


attributes. SessionFlags = SessionFlags. ReceiveSync 


构造 Session 对 象 
Dim session As CSoamSession 
Set session = connection. CreateSession( attributes ) 


Range( " B25" ). Value = " Session created. Session ID " & session. ID 





BS 总 投资 
Dim investMent As Double 


investMent = Range( " B5" ). Value 
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' 详细 代码 清单 参考 光盘 


' J5 为 计算 次 数 , 取 平 均值 
Dim caculateTimes As Integer 


caculateTimes = Range( " J5" ). Value 


Dim taskToSend As Long 
taskToSend = caculateTimes 


Dim k As Integer 


For k 20 To taskToSend - 1 


1 








' 创建 消息 ,将 输入 数据 传递 给 网 格 


1 





Dim message As TenMillionTradingInput 


Set message = New TenMillionTradingInput 


message. investMent = investMent 
message. duty = duty 

message. depreciation = depreciation 
message. expectRate = expectRate 
message. evaluationNum = evaluationNum 
message. income = income 

message. cost = cost 


message. wave = wave 














Dim inputHandler As CSoamTaskInputHandle 


Set inputHandler = session. SendTaskInput ( message ) 


Range( " B25" ). Value 2 " Sent Message number " & k & "Task ID " & inputHandler. ID 





Next k 


4. 接收 输出 参数 
接收 输出 参数 的 代码 如 代码 清单 8-14 所 示 。 
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【代码 清单 8-14】 


' 接收 输出 参数 


1 





' 从 网 格 获取 输出 


1 





Range( " B25" ). Value = " Waiting for results---. " 


Debug. Print " Fetching results. " 


Dim tempRate4IncomeChange As Double 
Dim temprate4CostChange As Double 
Dim tempRaterate4 CostiIncomeChange As Double 


Dim sumRate4IncomeChange As Double 

Dim sumrate4 CostChange As Double 

Dim sumRaterate4 CostIncomeChange As Double 
sumRate4IncomeChange = 0 

sumrate4 CostChange =0 


sumhRaterate4 CostIncomeChange = 0 
For k 2 0 To taskToSend -1 


Dim taskEnum As CSoamEnum 


Set taskEnum = session. FetehTaskOutput( 1 ) 


Range( " B25" ). Value = " Retrieved task " & taskEnum. Count 


Dim output As CSoamTaskOutputHandle 


For Each output In taskEnum 


Range( " B25" ). Value = " Retrieved task with ID " & output. ID 


If output. IsSSuccessful Then 


Dim outMessage As TenMillionTradingOutput 
Set outMessage = New TenMillionTradingOutput 


Call output. PopulateTaskOutput ( outMessage ) 


Debug. Print " Retrieved message " 
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tempRate4IncomeChange = outMessage. rate4IncomeChange 

temprate4CostChange = outMessage. rate4CostChange 

tempRaterate4CostIncomeChange = outMessage. rate4CostIncomeChange 
Else 


Debug. Print output. ID & " Task failed. " 
Dim exception As CSoamCOMException 


Set exception = output. GetException( ) 


Dim reason As String 

reason ="" 

Call exception. What( reason) 

Debug. Print output. ID & " task failed; " & reason 

Range( " B25" ). Value = output. ID & " task failed : " & reason 

End If 

Next output 
sumRate4IncomeChange = sumRate4 IncomeChange + tempRate4IncomeChange 
sumrate4 CostChange = sumrate4 CostChange + temprate4 CostChange 
sumRaterate4 CostIncomeChange = sumRaterate4CostIncomeChange + 


tempRaterate4 CostIncomeChange 
Next k 





5. 展示 结果 
展示 结果 的 代码 如 代码 清单 8-15 所 示 。 
[ 87$ 8 8-15] 

















Range( " F21" ). Value = sumRate4IncomeChange / taskToSend 
Range( " F22" ). Value = sumrate4 CostChange / taskToSend 
Range( " F23" ). Value = sumRaterate4 CostIncomeChange / taskToSend 


Dim endTime As Double 
endTime = Timer( ) 
Range( " H21" ). Value = endTime - startTime 


Range( " B25" ). Value = " Test finished. " 


Exit Sub 
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本 例 使 用 与 第 7 章 相 同 的 服务 端 程序 。 我 们 只 需 将 sample7\SymphonyMonteCarla\TenMil- 
lionTrading Service. jar 部 署 到 Symphony DE 即 可 (部署 可 参考 第 2 章 Symphony DE 使 用 ) 。 
8.3.4 测试 


现在 我 们 拥有 了 一 个 可 以 跟 Symphony DE 集成 的 Excel 程序 (sample8 Excel 蒙特 卡 罗 
模拟 . xls), ， 让 我 们 来 测试 一 下 实际 执行 效果 。 
笔者 所 使 用 的 计算 机 的 处 理 器 为 Intel 双核 处 理 器 ， 如 图 8-20 所 示 。 





- 9m 处 理 路 
8f Intel(R) Core(TM)2 Duo CPU T6600 @ 2.20GHz 
8f Intel(R) Core(TM)2 Duo CPU T6600 @ 2.20GHz 


8-20 笔者 计算 机 的 CPU 型 号 


当 笔 者 在 本 地 启动 Symphony DE 后 ， 测 试 前 面 介 绍 的 Excel 程序 得 到 如 图 8-21 所 示 的 


结 
总 投资 年 销售 税金 年 折旧 费 预期 收益 率 采样 次 数 年 销售 收入 预期 ”年 经 营 成 本 预期 ”波动 率 ”计算 次 数 
1000 15 65 0.15 1000000 670 390 0.2 10 
Excel 本 地 计算 
变化 概率 计算 时 间 
当 销 售 收入 变化 时 , 预期 收益 率 >= Ade 0. 6864538 15. 796875 
当 经 营 成 本 变化 时 , 预期 收益 率 >= 预期 收益 0. 8205935 
当成 本 和 收入 都 发 生 波动 时 , 预期 收益 率 >= TURAR 0. 6865468 
云端 计算 
网 格 服务 名 称 
TenlillionTrading 
变化 概率 计算 时 间 
当 销售 收入 变化 时 , 预期 收益 率 >= 预期 收益 率 0. 6868755 7.921875 
当 经 营 成 本 变化 时 , 预期 收益 率 >= 预期 收益 率 0. 8206772 
当成 本 和 收入 都 发 生 波 动 时 , 预期 收益 率 >= 预期 收益 率 0. 6866798 














图 8-21 Excel 本 地 计算 和 利用 云 技术 计算 的 结果 对 比 

通过 测试 可 以 看 到 ， 利 用 云 技术 计算 耗 时 是 直接 本 地 计算 的 近 二 分 之 一 。 可 见 云 技术 确 

实 将 我 们 的 工作 分 配 到 两 个 CPU 上 并 行 执 行 ， 这 对 于 提 e 
另外 更 改 Symphony DE 配置 文件 ， 可 以 使 Symphony DE 直接 与 第 7 章 中 的 云 计算 服务 通 











信 ， 将 工作 分 发 到 更 多 的 处 理 器 上 执行 从 而 获得 更 高 的 速度 。 笔 者 在 本 章 就 不 再 著述 。 
8.4 小 结 


通过 本 章 的 实践 ， 我 们 成 功 地 将 Excel 与 云 计 算 技 术 结 合 ， 并 利用 云 技术 将 Excel B T. 

作 效 率 在 双核 CPU 上 提高 了 一 倍 。 在 这 个 过 程 中 我 们 学 习 了 VBA 开发 以 及 如 何 使 用 COM 
组 件 。 利 用 这 些 方法 ， 可 以 提高 所 有 支持 VBA 编程 以 及 COM 组 件 扩展 的 Windows 程序 工作 
效率 。 由 于 在 前 面 的 章节 中 介绍 了 蒙特 卡 罗 模 拟 的 相关 知识 ， 本 章 把 重点 放 在 了 如 何 将 Ex- 
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cel 与 云 计 算 技术 集成 上 。 关 于 本 章 的 具体 实现 读者 可 以 参考 本 书 所 附 Excel 文件 。 该 文件 
其 实 就 是 前 面 金融 计算 程序 的 Excel 版 本 ， 这 个 版 本 的 好 处 就 在 于 当 网 络 不 稳定 或 者 无 法 连 
接 网 络 中 的 云 计 算 资 源 时 ， 用 户 依然 可 以 充分 利用 本 地 资源 快速 得 出 结果 。 而 当 网 络 恢复 
时 ， 用 户 可 以 快速 利用 网 络 资源 做 更 快 更 精细 的 计算 。 相 信 读 者 在 工作 中 会 碰 到 更 多 需要 解 
决 计算 效率 的 应 用 程序 ， 不 妨 自己 动手 利用 云 技术 提高 应 用 的 工作 效率 。 
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第 9 章 专业 工具 软件 与 云 计 算 集成 


大 部 分 软件 都 是 为 了 帮助 人 们 更 好 更 快 解决 实际 问题 而 开发 的 ， 比 如 和 常见 的 微软 Office 
办 公 应 用 程序 ，IE 这 样 的 上 网 程序 ，QQ 和 MSN 等 网 络 聊天 工具 。 这 些 软件 都 极 大 地 方便 
了 人 们 的 工作 与 生活 。 在 上 一 章 中 ， 我 们 也 通过 云 计 算 对 Excel 报表 工具 的 计算 速度 进行 了 
提升 。 

除 此 之 外 ， 在 专业 领域 也 存在 着 大 量 的 专业 工具 软件 ， 比 如 科学 计算 工具 MATLAB, 图 
像 处 理工 具 Maya 和 3ds Max， 绘 图 类 软件 AutoCAD 等 。 

这 些 软件 对 于 各 领域 的 开发 设计 工作 起 着 基础 工具 的 作用 。 很 多 的 公司 与 个 人 都 依赖 于 
这 些 软件 开展 业务 。 

云 计算 同样 可 以 帮助 使 用 这 些 工具 软件 的 用 户 提 高 计算 速度 ， 缩 短 开发 周期 。 


























9.1 MATLAB 简介 


MATLAB 是 矩阵 实验 室 Matrix Laboratory 的 简称 ， 它 是 由 美国 MathWorks 公司 出 品 的 商 
业 数学 软件 ， 被 大 量 应 用 于 算法 开发 、 数 据 可 视 化 、 数 据 分 析 及 数值 计算 等 应 用 场景 中 。 

因为 MATLAB 的 数学 计算 库 是 串 行 的 ， 所 以 使 用 MATLAB 开发 的 程序 一 般 也 是 串 行 执 
行 的 。 但 当代 科学 与 工程 计算 所 遇 到 的 问题 是 计算 量 越 来 越 大 ， 单 独 使 用 一 台 计 算 机 上 的 一 
个 CPU 内 核 已 经 很 难 在 短 时 间 内 计算 出 所 需要 的 结果 。 本 章 将 使 用 MATLAB 自 带 的 扩展 工 
具 ， 使 MATLAB 可 以 并 行 计 算 。 


9.1.1 安装 MATLAB 


本 书 使 用 MATLAB R2010b， 可 以 从 http://www. mathworks. com/ 购 买 下 载 。 安 装 MAT- 
LAB 时 ， 它 会 提示 用 户 安装 哪些 额外 工具 包 。 由 于 我 们 需要 使 用 并 行 计算 功能 ， 故 需要 安 
装 Parallel Computing Toolbox- 工 具 包 ， 如 图 9-1 所 示 。 


J Product Selection 


MATLAB* Select products to install: 
SIMULINK* Product 
2010b [V] MATLAB Builder EX 1.3 
[v] 











[V] MATLAB Builder JA 2.2 
| [V] MATLAB Builder NE 3.2 
[V] MATLAB Compiler 4.14 








[V] MATLAB Report Generator 3.9 





[v] Model Predictive Control Ioolbox 3.2.1 





[v] Model-Based Calibration Toolbox 4.1 
[V] Neural Network Toolbox 7.0 
[V] OPC Toolbox 2.1.6 











Optimization Toolbox 5.1 
Partial Differential Equation Toolbox 1.0.17 
[7] Resl-Iime Windows Target 3.6 

[7] Real-Time Workshop 7.6 











v 
v 
v 
v 
v 
v 
v 
V 
v 

















Space available: 41,703 MB Space required: 4,538 MB 


J MathWorks 





图 9-1 安装 MATLAB 





9.1.2 MATLAB 基本 使 用 


安装 好 MATLAB 后 ， 可 以 在 桌面 看 到 其 图 标 融 ， 双 击 该 图 标 即 可 启动 MATLAB, Addi 
如 图 9-2 所 示 。 

界面 的 上 方 为 工具 栏 ， 用 户 可 以 选择 当前 程序 的 执行 位 置 ， 以 及 快捷 调用 其 他 工具 。 下 
方 是 命令 输入 窗口 ， 可 以 在 该 窗口 中 输入 相关 的 MATLAB 命令 。 比 如 在 命令 窗口 中 ， 输 入 
rand (3, 3), ， 即 可 生成 一 个 3 x3 的 随机 矩阵， 如 下 所 示 . 
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NAILAB 7.11.0 (R2010b) 
File Edit View Debug Parallel Desktop Window Help 


OSSLA I |A t B |O | current Folder: 


| Shortcuts 回 How to Add [Z] What’ s New 











` 
C:\Documents and Settings\Administrator\My Documents MATIAB [|] 1£————— 工具 栏 




















Current F...  '* O ? X| Command Window 
© « m... - (Ej d- hen to MATLAB? Watch this Video, see Demos, or read Getting Started. 
Di Mame 





MAILAB desktop keyboard shortcuts, such as Ctrl+5, are now customizable. 


In addition, many keyboard shortcuts have changed for improved consistency 
across the desktop. 





命令 输 ; 
To customize keyboard shortcuts, use Preferences. From there, you can also 
入 窗 口 restore previous default settings by following the steps outlined in Help. 
Click here if you do not want to see this message again. 
E> 
»»rand(3,3) 
ans — 


0. 8147 0. 9134 0. 2785 
0. 9058 0. 6324 0. 5469 
0. 1270 0. 0975 0. 9575 


与 第 8 章 中 介绍 的 Excel —FÉ, MATLAB 也 支持 脚本 编程 ， 我 们 可 以 把 输入 的 命令 制作 
成 脚本 以 方便 日 后 调用 ， 如 图 9-3 所 示 ， 在 工具 栏 中 单 击 New Script 按钮 ， 即 可 创建 脚本 。 


NATLAB 7.11.0 (R2010b) 


File Edit Debug Parallel Desktop Window Help 


NG | E a dà "H A (ur E | @ |Current Fol 
; patair [Z] What’ s New 


Current EF... "5 HM ?* XJ 
(e «n... -5|(£ €**- 











| Command Window 


ew to MATLAB? Watch tl 
restore previous d 











图 9-3 创建 MATLAB 脚本 
如 图 9-4 所 示 ， 用 户 可 以 通过 MATLAB 的 脚本 编辑 器 来 编写 脚本 程序 。 


G Editor - Untitled2 

File Edit Iext Go Cell Tools Debug Desktop Window Help ajax 
/"DOH ELT ETAETA E L Eae 
e|- ho J+] ehai |x |2% %]0 

1 





























Imi 














| Script 


9-4 MATLAB 脚本 编辑 器 








7m 
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将 生成 3 x3 矩阵 的 命令 封装 为 一 个 方法 ， 如 代码 清单 9-1 所 示 。 
【代码 清单 9-1 】 


generateCrid. m 


function results = generateGrid( m,n ) 
results 2 rand( m,n) ; 


end 

















在 命令 窗口 ， 可 以 调用 generateGrid 方法 。 结 果 如 下 所 示 : 


>> result = generateCrid(2 ,3 ) ; 

>> result 

result = 
0. 9649 0. 9706 0. 4854 
0. 1576 0. 9572 0. 8003 





同样 ， 也 可 以 使 用 前 面 几 章 提 到 的 蒙特 卡 罗 算 法 来 计算 圆周 率 ， 如 代码 清单 9-2 所 示 。 
【代码 清单 9-2] 


getPI. m 


function pi, value = getPI( Times) 
n=0; 
for i=1; Times 


RD =rand( [1 2]); 96 BIA A. 0 — 1 的 随机 数 


x=RD(1); 
y=RD(2); 
if( (x-0. 5)2 + (y -0.5)°2)^0.5<0.5; 96 打 在 圆 内 的 点 
n=n+l]; 
end 
end 


pi_value =4 * n/10000 

















>> pi = getPI( 1000000) ; 
pi_value = 


3. 1430 


9.1.3 Parallel Computing Toolbox 简介 


Winds], MATLAB 一 般 都 是 冲 行 执行 计算 。 对 于 大 数据 量 的 情况 使 用 串 行 方式 计算 
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往往 需要 较 长 的 时 间 。 故 MATLAB 提供 了 Parallel Computing Toolbox (PCT) 并 行 计算 工具 
箱 使 用 户 可 以 进行 并 行 计算 。 

对 于 那些 专注 于 计算 ， 数 据 集中 存储 的 计算 问题 。 用 户 可 以 使 用 PCT 配合 MATLAB 进 
行 并 行 计算 。 在 MATLAB 中 并 行 运 行 的 计算 工作 称 为 任务 (Task) ， 整 个 计算 称 为 作业 
(Job), PCT 本 身 并 不 会 处 理 任务 之 间 的 依赖 关系 与 自动 并 行 化 ， 必 须 由 用 户 自 己 编写 相应 
的 程序 来 实现 。 比 如 在 Jobl 中 有 四 个 任务 Taskl Task2, Task3 和 Task4， 其 中 Taskl 和 
Task2 计算 的 结果 是 Task3 和 Task4 输入 的 一 部 分 ， 在 这 样 的 情况 下 ，MATLAB 是 不 会 自动 
产生 任务 之 间 的 依赖 关系 的 ， 这 就 需要 用 户 自己 编程 实现 这 种 依赖 关系 。 

使 用 PCT 不 仅 可 以 充分 利用 一 台 计 算 机 的 多 核 处 理 器 ， 同 时 也 可 以 把 任务 分 配 到 多 台 
计算 机 上 同时 执行 。 


9.1.4 MATLAB PCT 架构 




















MATLAB PCT 主要 由 客户 端 (Clent) 、 调 度 器 (Scheduler) 和 执行 者 (Worker) 组 成 。 

(1) 客户 端 (Client) 

MATLAB 的 命令 行 输入 窗口 就 是 客户 端 ， 用 户 可 以 使 用 PCT 中 提供 的 Job 和 Tasks 对 象 
封装 算法 ， 并 提交 执行 。 

(2) 调度 器 (Scheduler) 

调度 需 接 收 从 客户 端 提交 的 Job ， 并 将 Job 中 的 Tasks 对 象 分 配给 执行 者 运行 。PCT 提供 
了 一 个 名 为 Job Manager 的 调度 器 ， 用 户 也 可 以 使 用 第 三 方 提供 的 并 行 计算 系统 来 调度 Job 
与 Task。 

(3) 执行 者 〈Worker) 

执行 者 负责 最 终 运行 Task， 用 户 可 以 在 同一 台 计 算 机 上 利用 多 核 处 理 器 启动 多 个 执行 
者 ， 也 可 以 通过 网 络 在 多 台 计 算 机 上 启动 执行 者 。 

PCT 的 架构 如 图 9-5 所 示 ， 在 该 图 中 有 多 个 执行 者 ， 以 及 一 个 调度 器 ， 调 度 器 可 以 使 
用 MATLAB 自 带 的 Job Manager， 也 可 以 使 用 第 三 方 开 发 的 并 行 计算 软件 。 


























使 用 PCT 的 











MATLAB 客 户 端 





图 9-5 MATLAB PCT 架构 


9.1.5 ”配置 Parallel Computing Toolbox 


虽然 在 9.1.1 节 中 选择 安装 PCT， 但 并 没有 将 它 与 MATLAB 环境 集成 ， 所 以 仍 需 要 做 些 
配置 。 

如 图 9-6 所 示 , 在 MATLAB 中 设置 当前 工作 目录 为 C:\Program Files MATLAB VR2010bV 
toolbox \distcomp \bin。 
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J HATLAB 7.11.0 (R2010b) 


File Edit Debug Parallel Desktop Window Help 
f) € tA 49 (|i rf E) | Q | curent Folder: C:\Program Files MATLAB NR2O10b toolboxMdistcompYbin vC) 








图 9-6 设置 MATLAB 当前 工作 目录 














运行 如 下 命令 ,将 在 MATLAB 中 安装 并 启动 MDCE, 


>>! mdce install 

>>! mdce start 

wrapper | Starting the MATLAB Distributed Computing Server service… 
wrapper | MATLAB Distributed Computing Server started. 


|9. 2 使 用 Parallel Computing Toolbox 提高 计算 速度 


总 体 上 说 ，MATLAB PCT 主要 有 以 下 特性 : 
e 使 用 MATLAB PCT 开发 的 应 用 ， 可 在 多 核 或 多 机 环境 下 并 行 运行 。 
e MATLAB PCT 可 以 与 第 三 方 并 行 计算 环境 集成 。 


9.2.1 使 用 MATLAB Job Manager 
MATLAB PCT 包含 一 个 名 为 Job Manager 的 调度 器 ， 用 户 可 以 使 用 它 进行 并 行 运算 。 
首先 启动 调度 器 Job Manager， 如 下 所 示 : 


>> ! startjobmanager - name CloudAppManager 


启动 调度 器 后 ， 还 需要 启动 执行 者 来 处 理 调 度 需 分 配 的 任务 。 
启动 执行 者 Worker， 如 下 所 示 : 


>> | startworker - name CloudWorkerl — jobmanager CloudAppManager 
>> ! startworker - name CloudWorker2 — jobmanager CloudAppManager 


下 面 将 通过 一 个 例子 实现 在 两 个 任务 中 同时 生成 矩阵 。 

(1) 获得 调度 器 

在 MATLAB 中 可 以 指定 Job Manager 所 在 的 计算 机 来 获取 调度 器 ， 即 默认 为 本 机 。 
获得 本 机 名 为 CloudAppManager 的 调度 器 ， 如 下 所 示 : 


jm = findResource( schedulet ', type ', jobmanaget ', namé ', CloudAppManagert ) ; 
获取 hostA 上 的 调度 器 ， 如 下 所 示 : 


jm = findResource( schedulet ', type ', jobmanaget ,… 


' Namé ', CloudAppManaget ', LookupURL ', hostA ) 
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(2) 创建 一 个 包含 两 个 任务 的 作业 
jobCloud = createJob( jm ) ; 


createTask ( jobCloud , @ rand, 1 , {300 ,300} ) ; 
createTask ( jobCloud , rand, 1 , {300 ,300} ) ; 


(3) 提交 作业 
submit( jobCloud ) ; 


现在 向 调度 器 提交 了 一 个 包含 两 个 任务 的 ， 调 度 器 负责 将 任务 分 配给 任务 执行 者 。 

(4) 查看 工作 状态 

现在 两 个 任务 执行 者 已 经 启动 ,用户 可 以 通过 Windows 任务 管理 器 查看 它们 的 运行 情 
况 ， 如 图 9-7 所 示 。 





BITES 





É Windows 任务 管理 器 


TO 选项 (0) 查 


f XL A 帮助 H 





| 应 用 程序 | 进程 ”| 性 能 ”| 联网 | 用 户 | 








映像 名 称 用 户 名 cPu CPU 时 间 AFEA 
mdced. exe SYSTEM :00: 440 K 
MATLAB. exe SYSTEM :00: 52,284 K 
MATLAB. exe SYSTEM :00: 45,1860 K 
MATLAB. exe Administrator 119, 792 K 
lsass. exe SYSTEM 1,760 K 
java. exe SYSTEM 19,136 K 
java. exe SYSTEM 12,484 K 
java. exe SYSTEM 10,376 K 
java. exe SYSTEM 23,464 K 
java. exe SYSTEM 22,040 K 
java. exe SYSTEM 19,148 K 
iexplore. exe Administrator 52,908 K 
iexplore. exe Administrator 19,516 K 
iexplore. exe Administrator 3,052 K 
iexplore. exe Administrator 30,040 K 
explorer. exe Administrator 0:03 4,384 K 
explorer. exe Administrator 0:12 6,860 K 
Energy Management... Administrator 0:00 1,044 K 


显示 所 有 用 户 的 进程 @) 结束 进程 E) 


[=] 
o 
4x 
Ex! 


ooo-ooooooo 
ocooOooco-mooo-o 
maomaoo-cüoc-ootnm 


ocOococoooooooooooo 
cOococooooooooooco 


''OOcooooosooooo^s 
RI O EL ELELELELELELELLELELEJ 


{v 























进程 数 : 72 CPV 使 用 : 30% 提 变更 疏 : 1658M / 3933M 


9-7 启动 了 两 个 任务 执行 者 的 MATALAB 


上 图 中 由 用 户 Administrator 启动 的 MATLAB 进程 是 客户 端 ， 其 他 两 个 则 是 任务 执行 者 ， 
当 执 行 任务 时 ， 可 以 看 到 CPU 与 内 存 都 有 显著 变化 。 

也 可 以 通过 MATLAB 命令 查看 任务 执行 情况 ， 如 代码 清单 9-3 所 示 。 

【代码 清单 9-3]】 





>> taskstatus = get( jobCloud', Tasks ) ; 
>> taskstatus 
taskstatus = 


# Task ID State FinishTime Worker Function Name Error 
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1 1 finished 六 月 14 23:59.46 CloudWorkerl @ rand 
2 2 finished 六 月 14 23:59.46 CloudWorker2 @ rand 

















(5) 获取 结果 
获取 结果 时 ， 用 户 可 以 通过 waitForState 命令 等 待 作业 最 终 执行 完毕 ， 如 下 所 示 : 




















>> waitForState( jobCloud ) ; 




















结果 可 通过 getAllOutputArguments 命令 获得 ， 如 下 所 示 : 
>> results = getAllOutputArguments( jobCloud ) ; 


通过 上 面 的 例子 可 以 看 出 ， 使 用 PCT 自 带 的 调度 器 可 以 方便 地 进行 并 行 计算 。 借 助 并 
行 计 算 ， 用 户 可 以 充分 利用 处 理 器 来 提高 运算 速度 。 此 外 ，PCT 还 提供 通用 接口 与 第 三 方 并 
行 计算 软件 集成 。 

9.2.2 与 Symphony DE 集成 


本 市 将 通过 Symphony DE 与 MATLAB 集成 ， 展 示 MATLAB 与 第 三 方 并 行 计算 工具 集成 。 
通过 9.2.1 节 中 的 例子 可 以 看 出 ，MATLAB 所 使 用 的 作业 由 多 个 任务 构成 ,调度 器 的 作 
用 就 是 将 作业 中 的 任务 分 配给 执行 者 执行 。 用 户 还 可 以 在 选择 调度 器 时 ， 指 定 哪些 计算 机 可 
用 来 进行 多 机 并 行 计算 。 

此 外 MATLAB PCT 还 提供 了 公共 调度 接口 ， 可 以 与 第 三 方 并 行 计算 软 件 的 调度 器 集成 。 
当然 ， 用 户 需 要 进行 一 定 的 配置 才能 使 第 三 方 软件 与 PCT 协同 工作 。 比 如 对 于 执行 者 ，PCT 
规定 了 特定 的 参数 来 获得 所 需 的 设置 信息 。 

一 般 地 ， 用 户 需要 通过 环境 变量 来 传递 这 些 参数 ， 如 图 9-8 所 示 。 












































图 9-8 通过 环境 变量 传递 执行 者 所 需 参 数 











在 上 面 的 图 中 需要 注意 的 是 提交 方法 与 解码 方法 ， 它 们 分 别 工 作 在 客户 端 与 执行 者 节点 
上 ， 并 成 对 出 现 。 提 交 方 法 的 作用 是 将 所 需 的 环境 变量 以 及 作业 发 送 给 调度 器 ， 而 解码 方法 
的 作用 则 是 得 到 所 需 的 环境 变量 并 将 它们 传递 给 执行 者 。 

(1) PCT 与 第 三 方 工具 集成 的 工作 方式 

PCT 采用 数据 集中 发 布 、 收 集 的 方式 ， 与 并 行 计 算 环 境 中 的 计算 节点 传输 输入 与 输出 数 
262 

















专业 工具 软件 与 云 计 算 集成 | 第 9 之 | 


据 。 一 般 采 用 共享 文件 系统 ， 在 指定 的 位 置 存 放 输 入 数据 ， 由 调度 器 将 文件 共享 路 径 告 知 执 
行者 ,再 由 执行 者 主动 从 共享 位 置 获取 输入 数据 进行 计算 ,然后 将 结果 输出 到 共享 文件 系 
统 ， 最 终 由 客户 端 统一 处 理 输入 数据 。 

在 运行 过 程 中 ，MATLAB 不 需要 像 Symphony DE 那样 编写 消息 类 ， 而 是 统一 将 数据 写 
和 文件。 调度 器 除了 负责 分 配 任务 之 外 还 需要 在 执行 节点 上 启动 MATLAB 程序 ， 由 MAT- 
LAB 读 取 输 入 数据 并 最 终 执 行 。 

调度 器 的 作用 只 是 负责 管理 任务 的 分 配 以 及 执行 节点 上 MATLAB 的 启动 ， 如 图 9-9 
所 示 。 






































| IRIE O O anane | 
| i 启动 执行 节点 上 的 MATLAB 程 序 | 
| | | 获得 输入 数据 | 
| | ' NL 
| | 写 入 计算 结果 i 
| 获得 计算 结果 l | 
i i i 
i I I 


图 9-9 MATLAB 与 第 三 方 并 行 计算 软件 集成 工作 序列 图 








(2) 通过 运行 symexec 并 行 执行 命令 

在 Symphony DE 中 除了 可 以 使 用 编程 接口 实现 并 行 运算 之 外 ， 还 可 以 使 用 symexec 命令 
来 实现 并 行 执行 。 

输入 soamview app 命令 可 以 看 到 有 两 个 应 用 ， 一 个 是 用 来 测试 Symphony DE 工作 状态 的 
symping 应 用 ， 另 一 个 就 是 symexec MJH, AI P Br: 





APPLICATION STATUS SSM HOST SSM PID CONSUMER 
symping5. 1 enabled 一 一 / SymTesting/Symp * 
symexecS. 1 disabled - - / SymExec/SymExec * 


使 用 命令 soamcontrol app enable symexec5. 1 可 开启 该 应 用 。 
symexec 共有 五 个 子 命令 ， 分 别 是 : 

® create 创建 新 的 命令 执行 会 话 。 

e send 发送 命令 并 执行 。 

e fetch 获取 命令 执行 结果 。 

e close 关闭 命令 执行 会 话 。 

emn 发 送 命令 并 等 待命 令 输出 结 

以 Windows 中 的 dir 命令 为 例 ， 输 出 结果 如 下 : 
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symexec run "cmd. exe /c dir > test. out" 


Successfully created a new session. Session ID; «10 >. 





Task ID: 1 
Exit Code: 0 
SUCCESS 





注意 ，symexec 并 不 会 把 命令 在 屏幕 上 的 输出 直接 返回 ， 如 果 用 户 想 得 到 命令 输出 结 
果 ， 可 以 将 命令 的 输出 写 和 人 到 文件 中 查看 。 Symphony DE 的 默认 工作 目录 为 C:\SymphonyDE 
\DE51 \work 。 

由 于 可 以 将 命令 发 送 到 多 个 执行 节点 上 运行 的 特性 ， symexec 很 容易 与 PCT 这 样 的 工具 
集成 。 在 多 个 执行 节点 上 运行 MATLAB 进程 。 

(3) 编写 客户 端 代 码 

当 用 户 需 要 将 一 个 作业 提交 给 一 个 调度 器 时 ， 需 将 参数 设置 在 调度 器 的 提交 方法 的 属性 
中 。 通 过 调用 set 方法 可 以 设置 属性 。 人 例如， 执行 mysubmitfune 方法 时 ， 可 以 通过 如 下 命令 
提交 给 调度 器 。 























set( sched', SubmitFch ,@ mysubmitfunc ) % 设置 所 提交 的 方法 属性 

















sched 是 客户 端 中 定义 的 调度 对 象 ， 它 是 由 findResource 方法 创建 的 。SubmitFcn 是 作业 
的 名 称 ，@ mysubmitfunc 是 需要 执行 的 方法 。 

PCT 中 需要 设置 的 文件 共享 目录 以 及 symexec 所 需 使 用 的 session ID 等 都 可 以 通过 set 方 
法 进行 设置 。 








set( sched', DataLocatiou ', \\ dat& ) ;和 设置 文件 共享 目录 
set( sched', SubmitFea ,| @ symdesubmit ,sessionID | ) ;% 设 置 调用 的 方法 为 symdesubmit 
% 并 传递 参数 sessionID 





与 获得 自 带 的 Job Manager 调度 如 类 似 ， 针 对 通用 调度 右 ， 用 户 也 可 以 使 用 findResource 
方法 获得 调度 器 ， 如 下 所 示 : 


' 


sched = findResource( schedulet ', type ', generic. soani ) ; 


将 客户 端 代码 封装 为 generic | sheduler | test 方法 ， 详 细 代 码 如 代码 清单 9-4 所 示 。 
【代码 清单 9-4】 


function results = generic, sheduler, test( sessionID ) 

96 获得 类 型 为 generic_soam 的 调度 器 

96 设置 DataLocation 属性 为 一 个 共享 文件 夹 

% 使 用 共享 文件 系统 获得 数据 需要 设置 HasSharedFilesystem 属性 为 true 

96 所 有 计算 节点 都 将 访问 共享 文件 夹 获 取 输 入 数据 , 写 回 输出 数据 ,如 下 所 示 


sched = findResource( schedulet ', typé ', generic, soam ) ; 
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set( sched', DataLocation ', VV datà ); 

set( sched', HasSharedFilesystem ,true) ; 

% 设置 提交 方法 SubmitFen 为 我 们 定义 的 SymohonyDE 提交 方法 

96 soamdsubmit 方法 将 调用 Symexec 在 远程 执行 提交 的 命令 

set( sched', SubmitFcu , |  symdesubmit , sessionID | ) ; 

% 创 建 一 个 包含 两 个 任务 的 作业 ,每 个 任务 都 会 生成 一 个 6*6 的 随机 和 矩阵 
j = createJob( sched ) ; 

createTask ( j, 9 rand,1,16,6] ) ; 

createTask (j, 9 rand,1,16,6]) ; 



































9o 提交 作业 
submit( j) ; 


% 等 待 作业 执行 完毕 

waitForState( j) ; 

% 打印 最 终结 果 

results = getAllOutputArguments( j ) ; 


(4) 编写 MATLAB 客户 端 作业 提交 方法 

在 上 面 的 代码 中 ， 使 用 set 方法 设置 了 需要 提交 给 调度 器 调度 的 方法 symdesubmit。 

该 方法 负责 具体 使 用 第 三 方 并 行 计算 工具 和 分 配 任 务 。 在 Symphony DE 中 ， 用 户 可 以 使 
用 symexec 在 并 行 计算 环境 中 启动 多 个 MATLAB 进程 ， 通 过 共享 文件 系统 获取 输入 数据 进行 
计算 ， 并 最 终 将 结果 输出 到 共享 文件 系统 。 

工作 流程 为 通过 symexec 将 命令 传递 给 执行 节点 执行 。 由 于 启动 MATLAB 进程 需要 设置 
一 些 相 关 的 配置 参数 ， 用 户 可 以 使 用 symexec 的 -e 选项 将 参数 作为 环境 变量 传递 给 执行 
TA. 

这 里 要 特别 注意 ， 需 要 通过 解码 器 才能 将 执行 节点 上 的 参数 设置 为 MATLAB 所 能 使 用 
的 runprop 对 象 (虽然 通过 MATLAB 数据 文件 用 户 不 需要 解码 计算 数据 ， 但 配置 参数 仍 需要 
解码 ) 。 

symdesubmit 的 代码 如 代码 清单 9-5 所 示 。 

【代码 清单 9-5】 









































function symdesubmit( soam ,job ,submitProps ,sessionID ) 

% 前 三 个 参数 是 MATLAB 的 默认 参数 ,第 三 个 参数 是 Symphony DE 会 话 标志 
% 通过 ispe 方法 判断 当前 的 操作 系统 是 否 为 Windows 系统 

% 在 非 Windows 系统 上 ,需要 使 用 单 引号 将 命令 括 起 来 

% 而 在 Windows 系统 上 使 用 双 引 号 


if ispc 




















dh Ub. 
quote = ; 


else 


(s 


quote = 
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end 











96 定义 Symphony DE 需要 在 并 行 计算 环境 中 启动 的 MATLAB 命令 
matlabCommand = | quote submitProps. MatlabExecutable quoté submitProps. MatlabArguments |]; 


% 裔 历 得 到 所 有 需要 执行 的 任务 
for i = 1 ;submitProps. NumberOfTasks 


% 使 用 symexec 每 次 提交 一 个 任务 
% 将 命令 所 需 的 参数 通过 环境 变量 ( symexec — e 参数 ) 发 送 给 执行 
submitString = sprintf( symexec send -s 96 d - e MDCE, DECODE, FUNCTION = symdecode, 
STORAGE CONSTRUCTOR = 96 s, STORAGE. LOCATION - 96s, JOB. LOCATION = 96 s, TASK. LO- 
CATION = 96s 965 ,--- 
sessionID , ++ 
submitProps. StorageConstructor , - -- 
submitProps. StorageLocation , +++ 
submitProps. JobLocation , ,… 
submitProps. TaskLocations | i] , **- 


matlabCommand ) ; 


uy 

% 执行 命令 

[ FAILED ,out ] = system( submitString) ; 
catch 

FAILED = true; 

out = lasterr; 


end 


if FAILED 
error 执行 失败 ! 原因 为 %s,submitString is %s, MATLAB 命令 为 965 ，… 
out , submitString , matlabCommand ) ; 
end 


end 





(5) 编写 执行 者 解码 代码 

解码 方法 将 从 环境 变量 中 得 到 的 共享 文件 系统 信息 封装 为 runprop 对 象 ， 如 代码 清单 9-6 
所 示 。 

【代码 清单 9-6] 





function runprop = symdecode( runprop) 
% 获得 在 提交 方法 中 设置 的 变量 ,并 将 这 些 变量 传递 给 当前 的 执行 者 
storageConstructor = getenv( STORAGE CONSTRUCTOR ) ; 
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storageLocation = getenv( STORAGE LOCATION ) ; 
jobLocation = getenv( JOB. LOCATION ) ; 
taskLocation = getenv( TASK LOCATION ) ; 
dependencyDir = [ tempdir taskLocation ] ; 

9o 设置 执行 者 的 运行 参数 


set( runprop, ++: 























"StorageConstructof ,storageConstructor,… 
' StorageLocation ,storageLocation ,… 

' JobLocation ,jobLocation +++. 

' TaskLocatioh ,taskLocation ,… 


' DependencyDirectory ,dependencyDir) ; 


(6) 部 署 m 文件 


在 执行 命令 之 前 ， 用 户 需 要 将 m 文件 部 署 到 所 有 的 MATLAB 并 行 环境 路 径 中 。 单 击 


File 一 Set Pat 一 Add Folder， 如 图 9-10 所 示 。 


All changes take effect immediately. 


MAILAB search path: 
Add Folder... a 





\hope\SymphonyDE Matlab Integration 


Add with Subfolders... 





Move to Top 





Move Down N " 








Remove 





.R2010b' 
«R2010b 
R2010b' 
\R2010b\ 
R2010b' 
\R2010b 


R2010b 


\R2010b\ 


R2010b 


\R2010b' 
\R2010b 

\R2010b 

\R2010b， 
R2010b' 
R2010b 
R2010b\ 


R2010b 


R2010b' 
\R2010b\ 
R2010b' 


toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 
toolbox 


\matlab\ 
matlab 
matlab 
matlab\ 

\matlab 
matlab\ 
matlab\\ 

\matlab 

\matlab\ 
matlab’ 
matlab\ 
matlab\ 

\matlab\ 

\matlab’ 
matlab\ 
matlab\ 
matlab' 

\matlab’ 
matlab 
matlab' 


general 


\ops 


\lang 


elmat 


\randfun 


elfun 


specfun 


\mat fun 


datafun 


\polyfun 


funfun 
spar fun 


scribe 


\graph2d 
\graph3d 


specgraph 
graphics 


\ui tools 


\str fun 


imagesci 


























(7) 执行 
首先 ， 创 建 symexec 命令 执行 会 话 。 


C:\> symexec create 


Successfully created a new session. Session ID; <1 >. 


然后 ， 在 MATLAB 命令 窗口 中 输入 


图 9-10 部 署 m 文件 





T 
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results = generic_sheduler_test(1) ;  % fé ac dE My. 
results | 1 :2.] % 展示 结果 


9.2.3 MATLAB 与 Java 运行 环境 集成 


通过 前 面 的 讨论 ， 我 们 使 用 MATLAB PCT 工具 与 Symphony DE 进行 集成 ， 使 得 MAT- 
LAB 可 以 借助 Symphony DE 这 样 的 专业 并 行 计算 软件 进 4 DIR. 

而 像 Hadoop 这 样 的 并 行 计 算 软 件 暂时 没有 像 symexec 这 样 的 工具 可 以 方便 地 与 MAT- 
LAB 集成 。 

幸运 的 是 MATLAB 提供 了 Java 语言 支持 ， 用 户 可 以 通过 其 他 的 途径 将 MATLAB 与 Java 
工具 集成 使 用 。 

1. 在 MATLAB 中 调用 Java 程序 

从 MATLAB 5.3 起 ，MATLAB 就 包含 了 Java 运行 环境 。 事实 上 在 运行 MATLAB Hj, R 
们 有 了 时 会 碰 到 Exception in thread " AWT — EventQueue -0" 这 样 的 出 错 信 息 ， 这 是 Java AWT 
窗 体 组 件 出 错 信息 ， 这 说 明 MATLAB 本 身 窗 体 也 采用 Java 编写 。 

可 以 使 用 命令 查看 Java 运行 环境 的 信息 ， 如 下 所 示 : 


























>> version — java 
ans = 


Java 1. 6. 0. 17 — b04 with Sun Microsystems Inc. Java HotSpot( TM) Client VM mixed mode 

















通过 输出 结果 ， 可 以 看 出 该 MATLAB 使 用 Java 1.6, 

MATLAB 的 Java 编程 接口 主要 能 完成 以 下 功能 

e 在 MATLAB 环境 下 创建 Java 对 象 。 

e 使 用 Java 语法 或 者 MATLAB 语法 调用 Java 对 象 的 方法 。 

e 在 Java 对象 和 MATLAB 之 间 交 互 数据 。 

(1) 创建 Java 对 象 

用 户 可 以 直接 将 Java 对 象 赋值 给 MATLAB 变量 来 创建 Java 对 象 ， 通 过 创建 
java. lang. System. out 对 象 ， 就 可 以 在 MATLAB 中 方便 地 使 用 java 输出 对 象 ， 如 下 所 示 : 














>> javastdout = java. lang. System. out 
javastdout = 

java. io. PrintStream(? da629a 

>> javastdout. println( Hello Javà ) 
Hello Java 


(2) 添加 更 多 的 Java 类 库 

上 面 的 例子 中 可 以 使 用 java. lang. System. out 类 库 说 明 MATLAB Java 运行 环境 中 包含 Ja- 
va 标准 库 。 用 户 可 以 使 用 javaclasspath 命令 查看 当前 所 使 用 的 Java 类 库 ， 还 可 以 通过 
javaaddpath 和 javarmpath 命 来 添加 和 删除 Java 类 库 。 

(3) 类 型 转换 
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MATLAB 本 身 支持 基本 的 Java 数据 类 型 与 MATLAB 数据 类 型 的 转换 ， 比 如 将 一 个 字符 
串 转换 为 浮 点 数 ， 如 下 所 示 。 


fVal = java. lang. Double. parseDouble( 6. 19 ) 
fVal = 
6. 1900 


MATLAB 会 自动 将 java 对 象 转化 的 浮 点 数 转换 为 MATLAB 浮 点 数 。 

(4) 在 MATLAB 中 使 用 Java 语言 的 好 处 

有 很 多 用 户 ， 特 别 是 科研 机 构 的 研究 人 员 、 算 法 分 析 师 等 ， 他 们 很 熟悉 MATLAB 这 样 
的 开发 环境 ， 基 于 MATLAB 的 集成 计算 环境 更 便于 他 们 使 用 ， 并 且 还 易于 与 使 用 Java 开发 
的 并 行 计算 工具 集成 。 

(5) 问题 

虽然 在 MATLAB 中 可 以 调用 Java 程序 ， 通 过 编写 Java 程序 实现 计算 (比如 与 Hadoop 
集成 ) ， 但 是 核心 算法 不 能 使 用 MATLAB 的 函数 库 。 为 了 解决 这 个 问题 ，MATLAB 提供 了 一 
套 算 法 库 生 成 工具 ， 可 以 在 Java 中 调用 MATLAB 所 写 的 库 函 数 。 

2. 在 Java 中 调用 MATLAB 程序 

从 MATLAB 2006 开始 ，MATLAB 支持 将 m 文件 中 的 算法 转换 为 Java 库 文件 。 组 件 Jav- 
abuilder 安装 在 C:\Program Files \MATLAB \R2010b\toolbox \javabuilder。 

(1) 创建 部 署 工程 

在 MATLAB 的 command 窗口 ， 输 入 deploytool， 或 依次 单 击 file new— deployment pro- 
ject 菜单 项 会 弹出 一 个 新 窗口 ， 如 图 9-11 所 示 。 








New Open 








Name: |matlabproj. prj 


Location: |D: \hope\matlabproj 


Target: | & Java Package 








图 9-11 创建 部 署 工 程 


在 Target 下 拉 荣 单 中 选择 Java Package， 将 会 生成 Java EX, 

(2) 定义 所 要 生成 的 类 

在 本 章 开始 的 时 候 ， 我 们 在 MATLAB 中 使 用 蒙特 卡 罗 算 法 实现 了 一 个 计算 圆周 率 的 应 
用 。 并 将 它 保存 在 getpi m 文件 中 ， 现 在 可 以 使 用 工具 将 它 封 装 为 Java 类 。 

如 图 9-12 所 示 ， 在 Deployment Tool 窗口 中 ， 单 击 Add class 按钮 ， 添加 一 个 新 类 Mat- 
labPI， 并 单 击 Add files 按钮 将 getpi. m 文件 添加 给 类 MatlabPI。 这 样 ，MATLAB 中 的 方法 
getpi 将 生成 为 类 MatlabPI 中 的 方法 。 
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Deployment Iool apax 
图 matlabproj. prj X SNG %- 
Build Package | T. 

Classes 
(€) MatlabPI 
F^ getpi.m 


[Add files] 
[Add class] 





Shared Resources and Helper Files 


Place images, data files, snd GUIs ( fig files) here if 
referenced by sny functions 
Also place here 

© Functions called using eval (and its variants) 


€ Functions not on the MATLAB path 


9 Private functions 


[Add files/directories] 


图 9-12 设置 Java 库 生 成 配置 


单 击 build 按钮 将 自动 生成 Java 库 文 件 。 
也 可 以 通过 命令 行 生 成 ， 如 下 所 示 。 





























mcc — W java;matlabproj, MatlabPl — T link:lib -dD:\hope\matlabproj\matlabproj \src — w enable: 
specified file mismatch — w enable; repeated. file — w enable; switch, ignored — w enable; missing lib - 


sentinel ~ w enable ; demo. license — v class | MatlabPI ; D ; \hope Wmatlabproj Vgetpi. m} 


成 功 生成 库 文件 后 ， 可 以 在 工程 目录 的 distrib 文件 夹 下 找到 库 文件 ， 同 时 还 有 说 明文 件 
和 类 使 用 文档 ， 如 图 9-13 所 示 。 


E] matlabproj 
由 src 
[E distrib 


readme. txt 


Bg doc R 












E html 
y stylesheet. css 
E] package-list 
9| overview-tree. html 
9| index-all. html 
9| index. html 
9| help-doc. html 
9| depr d-list.html 
9| constant ues. html 
9| allcla rame. html 
9| allcla frame, html 
由 resour 
由 matlabproj 








DS 








9-13 ”成 功 生 成 库 文件 后 的 工程 目录 结构 


(3) f£ Java 中 调用 MATLAB 库 文件 

MATLAB 中 生成 的 库 文件 matlabproj. jar 除了 包含 经 常 需要 的 方法 外 ， 还 调用 了 很 多 
MATLAB 的 内 部 类 。 

故 需要 将 javabuilder. jar. (存放 在 C:\Program Files MATLAB VR2010b \toolbox Vjavabuilder 
Var) 与 matlabproj. jar 都 加 入 到 Java 工程 中 ， 如 图 9-14 所 示 。 
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Java Build Path nd 
ES Source | EZ Projects | Ei Libraries So Ürder and Export 
JARs and class folders on the build path: 
-o javabuilder. jar — MatLabPi/lib Add JARs... 
Ho matlabproj. jar - MatLabPi/lib 
Xm JRE System Library [jdkl.6.0 18] (Add External JARs... _ 

















K 9-14 调用 MATLAB 库 Java 项 目 配置 
详细 调用 代码 如 代码 清单 9-7 所 示 。 
【代码 清单 9-7]】 





import matlabproj. MatlabPI; 


import com. mathworks. toolbox. javabuilder. MWException ; 


import com. mathworks. toolbox. javabuilder. MWNumericArray ; 
public class TestPI | 


public static void main(String| | args) | 
try | 
MatlabPI mPI = new MatlabPI( ) ; 
Object[ | pi 2 mPI. getpi( 1 ,new MWNumericArray( Integer. valueOf( 10000) ) ) ; 
System. out. println( pi[ 0]) ; 
| catch( MWException e) | 
e. printStackTrace( ) ; 


| 


| 





通过 上 面 的 步骤 ， 用 户 可 以 将 MATLAB 与 更 多 的 Java 并 行 开 发 工具 进行 集成 。 这 里 只 
给 出 方法 ， 具 体 与 哪 种 并 行 计 算 软 件 集成 〈 比 如 Hadoop) 还 是 要 由 读者 自行 完成 。 





9.3 将 更 多 的 工具 运行 在 云 计算 环境 中 





通过 前 面 的 实践 ， 我 们 已 经 可 以 将 MATLAB 与 云 计算 环境 进行 集成 。 这 样 的 集成 为 那 
些 使 用 MATLAB 的 用 户 增添 了 云 计算 的 功能 。 

而 在 实际 工作 中 ， 并 不 仅仅 只 有 MATLAB 这 一 种 开发 工具 ， 几 乎 每 一 个 行业 都 有 自己 专门 的 
工具 。 比 如 制图 行业 中 使 用 的 AutoCAD, 3D 图 像 设计 中 使 用 的 3ds Max 和 Maya， 还 有 生物 化 学 、 
航空 航天 、 能 源 开 采 等 领域 的 专业 软件 ， 受 到 算法 的 更 新 、 数 据 量 的 不 断 增 大 、 设 计 的 复杂 程度 
等 因素 的 影响 ， 它 们 对 计算 能 力 的 要 求 越 来 越 高 。 传 统 的 提高 单个 机 器 性 能 的 解决 方案 ， 虽 然 可 
以 在 一 段 时 间 内 解决 计算 能 力 的 问题 ， 但 随 着 时 间 推 移 仍 将 面临 计算 能 力 无 法 满足 新 需求 的 困 
境 。 而 在 云 计算 中 ， 可 以 通过 添加 计算 资源 ， 并 行 计算 方式 对 这 一 状况 进行 有 效 解决 。 

面 对 编程 接口 与 使 用 方式 各 不 相同 的 工具 ， 软 件 开发 人 员 需 要 抽象 它们 共同 的 部 分 ,使 
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它们 更 容易 与 云 计算 集成 。 
9.3.1 通用 集成 架构 探索 


MATLAB PCT 解决 方案 主要 包含 以 下 特点 。 

(1) 可 集成 的 调度 器 

MATLAB PCT 框架 提供 的 调度 器 ， 可 通过 用 户 编写 的 提交 以 及 执行 者 解码 方法 ， 与 第 三 
方 并 行 计算 软件 集成 。 

(2) 共享 文件 系统 
通过 共享 文件 系统 提供 计算 数据 与 输出 结果 的 统一 管理 。 

(3) 统一 的 数据 格式 

由 于 MATLAB 采用 了 集中 式 数据 共享 方式 ， 所 以 用 户 不 用 关心 具体 的 数据 格式 ， 客 户 端 
可 以 使 用 MATLAB 的 文件 格式 将 输入 数据 写 人 共享 文件 系统 ， 而 执行 节点 通过 共享 文件 系统 
获取 输入 数据 ， 并 使 用 同样 的 文件 格式 再 将 输出 数据 写 到 共享 文件 系统 上 供 客 户 端 读 取 结 果 。 

MATLAB PCT 的 这 种 工作 框架 本 身 就 是 一 种 通用 的 集成 框架 ( 见 图 9-15)。 包 含 调度 
器 、 统 一 数据 管理 工具 以 及 统一 数据 格式 。 





























共享 文件 系统 


图 9-15 基于 共享 文件 系统 的 集成 框架 








这 种 框架 的 好 处 主要 有 1: 

e 用 户 可 以 通过 命令 方式 与 计算 工具 集成 。 
e 不 需要 过 多 关心 数据 的 内 部 格式 。 

e 数据 集中 ， 方 便 管 理 。 








相信 很 多 公司 与 个 人 都 有 遗留 系统 ， 针 对 这 些 系 统 就 可 以 采用 MATLAB PCT 框架 与 云 
计算 环境 集成 。 
具体 步骤 是 . 


1) 定义 遗留 系统 的 输入 和 输出 文件 格式 。 

2) 通过 共享 文件 系统 统一 输入 与 输出 。 

3) 通过 类 似 Symphony DE 中 symexec 的 命令 ， 在 多 台 计 算 机 上 同时 启动 应 用 。 

4) 最 后 由 一 个 程序 统一 处 理 输出 结果 。 

对 于 文件 操作 需要 考虑 到 作业 间 的 协调 。 在 MATLAB PCT 中 ， 针 对 每 一 个 任务 的 输入 
数据 都 会 有 一 个 专门 的 输入 数据 文件 。 这 种 方式 简化 了 数据 的 处 理 。 

但 当 某 一 个 输入 数据 文件 很 大 时 ， 出 于 文件 系统 自身 容量 的 考虑 ， 需 要 同时 对 该 文件 写 
入 与 读 取 操作 ， 特 别 是 当 多 个 写 入 进程 与 读 取 进程 不 在 同一 台 计 算 机 上 时 ， 需 要 一 个 在 并 行 
运算 环境 中 全 局 可 用 的 运行 锁 ， 控 制 对 资源 的 操作 。 这 时 候 就 需要 对 文件 加 锁 ， 以 避免 多 个 
处 理 程序 同时 写 人 造成 的 数据 破坏 ， 或 同时 写 和 人 与 读 取 ， 造 成 的 数据 不 一 致 的 情况 。 

加 锁 同 样 可 以 通过 共享 文件 系统 完成 。 比 如 当 同 时 对 数据 文件 A 操作 ， 可 以 在 共享 文 
件 中 记 一 个 标志 文件 B 说 明 该 文件 正在 被 操作 ， 其 他 处 理 程 序 等 到 标志 文件 内 容 改变 或 移 
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除 时 ， 再 进行 操作 。 也 可 以 使 用 3. 3.4 节 中 介绍 的 zookeeper 这 样 的 云 计算 协调 软件 来 做 加 
锁 和 解锁 的 操作 。 

该 框架 同时 也 存在 以 下 缺点 。 

1) 数据 集中 存放 。 数据 集中 存放 的 好 人 处 是 方便 管理 ， 但 对 于 数据 文件 较 大 的 情况 ， 传 
输 数 据 所 花费 的 时 间 就 会 变 长 ， 这 时 使 用 数据 集中 存放 的 方式 就 会 严重 影响 计算 速度 。 

2) 更 多 的 计算 节点 与 更 多 的 许可 费用 。 更 多 的 计算 节点 ， 意 味 着 MATLAB 等 类 似 软件 
将 被 安装 到 更 多 的 计算 机 上 。 用 户 将 为 此 支付 更 高 的 费用 。 

在 实际 使 用 中 用 户 有 时 需要 使 用 第 三 方 计算 库 。MATLAB 提供 使 用 Java, C, C ++ 语言 
等 集成 方法 。 而 使 用 这 些 第 三 方 库 进行 并 行 计算 并 不 需要 在 计算 节点 上 部 署 MATLAB。 用 户 
往往 将 使 用 这 些 库 的 计算 结果 作为 MATLAB 整体 计算 的 一 部 分 。 

采用 文件 共享 方式 可 以 解决 数据 获取 的 问题 ,但 无 法 解决 集中 存放 ， 数 据 传输 的 问题 。 
同时 采用 共享 文件 的 方式 共享 小 数据 一 样 效率 不 高 ， 因 为 对 于 小 数据 ， 完 全 可 以 通过 客户 端 
直接 输入 参数 ， 通 过 网 络 传递 数据 。 这 比 写 到 文件 系统 中 再 读 取 效 率 要 高 。 

(1) 大 文件 处 理 

我 们 可 以 借鉴 Hadoop HDFS + MapReduce 框架 。 在 数据 收集 阶段 ， 就 将 大 数据 文件 分 块 
存储 在 分 布 式 文件 系统 中 ， 客 户 端 将 需要 处 理 的 文件 信息 通过 网 络 传递 给 MapReduce 计算 框 
架 ， 由 MapReduce 框架 在 数据 所 在 的 计算 节点 进行 计算 。 节 省 大 数据 传输 时 间 。 

(2) 小 数据 处 理 

针对 小 数据 ， 特 别 是 结构 化 数据 ， 可 以 采用 Symphony DE 的 处 理 方式 。 将 小 数据 封装 为 
网 络 数据 消息 发 送 给 各 计算 节点 。 

上 述 两 种 方案 是 针对 不 同 应 用 场合 的 具体 方案 〈 见 图 9-16) ， 都 可 看 做 基于 消息 框架 
的 。 采 用 基于 消息 的 框架 ,另外 的 好 处 是 ， 可 以 与 各 种 第 三 方 工具 或 算法 库 集成 。 比 如 要 调 
用 具体 的 第 三 方 工 具 或 库 ， 用 户 可 以 使 用 Hadoop MapReduce, 也 可 以 使 用 Symphong DE if 
算 框 架 的 Mapper 方法 或 者 Service 程序 启动 第 三 方 工具 或 直接 调用 第 三 方 工具 。 

对 于 MATLAB 这 种 可 以 生成 算法 库 的 工具 ， 这 种 解决 方案 可 以 降低 对 MATLAB 本 身 的 
依赖 ， 减 少 或 降低 购买 许可 证 的 费用 。 
























































发 送 消息 
发 送 消息 
RRE 


计算 节点 计算 节点 计算 节点 
图 9-16 基于 消息 的 框架 
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基于 消息 的 框架 比 基 于 共享 文件 系统 的 框架 要 复杂 ， 在 进行 集成 时 ， 开 发 人 员 需 要 编写 
较 多 的 代码 ， 还 要 选择 到 底 是 直接 通过 消息 传递 数据 还 是 传递 所 需 数据 的 位 置 等 相关 信息 ， 
根据 应 用 的 实际 情况 选择 合适 的 计算 框架 。 

在 这 种 框架 中 ， 如 何 封 装 消息 是 框架 的 重点 。 


9. 3.2 集成 接口 探索 


与 云 计算 开发 环境 集成 的 一 般 有 两 种 接口 ， 一 种 是 使 用 文件 系统 共享 数据 。 另 一 种 是 通 
过 网 络 传递 消息 。 事 实 上 ， 非 云 计 算 平 台 的 集成 接口 一 般 也 是 这 两 种 。 再 次 说 明 云 计算 只 是 
应 用 程序 发 展 到 一 定 阶段 ， 在 对 计算 能 力 与 资源 管理 有 更 高 要 求 时 而 产生 的 ， 其 开发 语言 与 
方法 和 传统 的 应 用 开发 有 很 多 相似 之 处 。 

1， 共 享 文件 系统 

使 用 文件 系统 共享 数据 与 云 计算 环境 集成 是 很 方便 快捷 的 。 在 与 MATLAB 的 集成 中 ， 
用 户 只 需 为 应 用 程序 设置 正确 共享 路 径 即 可 。 但 并 不 是 每 个 具体 的 工具 软件 都 开发 了 相应 的 
并 行 计算 开发 包 。 有 些 情况 下 有 可 能 不 同 的 工具 软件 需要 协同 工作 ， 这 时 候 对 于 文件 格式 的 
定义 就 显得 格外 重要 。 下 面 给 出 参考 ， 通 过 XML 文件 来 定义 文件 格式 ， 如 代码 清单 9-8 
所 示 。 

【代码 清单 9-8] 

输入 数据 
































型 
























































<hearder > 

« paramName > 
ENCRYPT 

«/ paramName > 
< param Value > 
FALSE 

«/ paramValue > 
«/ header > 

« input > 

« paramName > 
Test 

«/ paramName > 
« paramValue > 
1000 

«/ paramValue > 
«/ input > 


输出 数据 


<hearder > 

« paramName > 
ENCRYPT 

«/ paramName > 
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<paramValue > 
FALSE 

< paramV alue > 
«/ header > 

« output » 

« paramName > 
RESULT 

«/ paramName > 
< param Value > 
0 

«/ paramV alue > 
«/ output > 





上 面 的 文件 格式 可 以 很 容易 地 被 XML 解析 工具 读 取 与 写 人 。 用 户 可 以 随时 在 < header > 
节点 中 添加 需要 的 参数 ， 比 如 是 否 对 数据 的 存储 方式 进行 加 密 。 由 于 采用 键 值 对 的 数据 格式 ， 
用 户 可 以 扩展 数据 结构 ， 不 同 软件 之 间 也 可 以 共享 数据 。 

2. 通过 网 络 传递 消息 
通过 共享 文件 的 方式 集成 基本 上 对 所 有 的 应 用 都 适用 ， 但 有 些 时 候 ， 用 户 得 到 的 数据 可 
外 是 网 络 上 传递 的 数据 流 ， 如 果 将 其 转化 为 文件 再 集成 ， 就 会 降低 应 用 的 处 理 速 度 。 

而 通过 传递 消息 的 方式 与 云 计 算 环境 集成 可 以 解决 这 个 文 题 。 它 的 目的 在 于 更 快捷 地 传 
输 小 数据 量 的 数据 (与 文件 方式 相 比 省 去 了 读 写 文 件 的 时 间 )。 但 它 通 常 要 考虑 消息 的 编码 
与 解码 ， 不 同 的 云 计算 工具 往往 有 不 同 的 编码 与 解码 方式 。 

Hadoop 自身 就 提供 了 一 个 很 好 的 网 络 传输 模型 ， 在 Hadoop 中 称 为 RPC (Remote Proce- 
dure Call， 即 远程 过 程 调用 ) 框架 。 

它 主 要 分 为 三 部 分 。 

(1) 传递 的 数据 

首先 需要 确定 的 是 什么 样 的 数据 要 在 集成 的 应 用 与 云 计算 环境 之 间 传 递 。Hadoop RPC 
除了 支持 传递 Swing，int，long 这 样 的 数据 传递 ， 还 支持 用 户 自 定义 的 数据 类 型 。 

在 下 面 的 代码 中 ， 我 们 定义 了 一 个 新 的 类 型 RPCParam， 它 继承 自 WritableComparable 接 
口 ， 通 过 write 方法 将 数据 编码 ，readFields 方法 解码 ， 如 代码 清单 9-9 所 示 。 

【代码 清单 9-9】 





























anb 


















































package com. skater. rpe. test; 
import java. io. Datalnput; 
import java. io. DataOutput; 


import java. io. IOException; 


import org. apache. hadoop. io. WritableComparable ; 
/ xx 


* @ author qxu 
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* @ email xqflying(? 163. com 
* @ copyright qxu 
WB df 
publie class RPCParam implements WritableComparable < RPCParam > | 


private int counter; 
private long timestamp; 
public RPCParam( ) | | ; 
public RPCParam( int counter, long timestamp) | 
this. counter = counter; 
this. timestamp = timestamp; 
} 
public int getCounter( ) | 
return counter; 
} 
public void setCounter( int counter) | 
this. counter = counter; 
} 
public long getTimestamp( ) | 
return timestamp; 
} 
public void setTimestamp( long timestamp) | 


this. timestamp = timestamp; 


| 

/编码 

publie void write( DataOutput out) throws IOException | 
out. writeInt( counter) ; 
out. writeLong( timestamp) ; 

| 

/解码 

publie void readFields( DataInput in) throws IOException | 
counter = in. readInt( ) ; 
timestamp = in. readLong( ) ; 

| 

publie static RPCParam read( DataInput in) throws IOException | 
RPCParam w = new RPCParam( ) ; 
w. readFields( in) ; 
return w; 

| 

@ Override 

public int compareTo( RPCParam o) | 
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//TODO Auto - generated method stub 


return 0; 


读者 不 妨 将 这 段 代码 与 Symphony DE 进行 一 下 对 比 。 

(2) 服务 端 

作为 服务 端 程序 ， 在 Hadoop RPC 框架 中 ， 服 务 端 程序 需要 实现 org. apache. hadoop. 
ipc. VersionedProtocol 接口 。 该 接口 主要 定义 了 当前 服务 端的 版 本 ,不 要 小 看 这 个 版 本 ，RPC 


























的 检查 代码 ) 。 

对 于 服务 端 代码 ， 其 实 并 不 是 直接 写 代 码 的 具体 实现 ， 而 是 确定 向 调用 者 提供 什么 样 的 
接口 。 这 样 做 最 直接 的 好 处 是 ， 服 务 端 程序 一 般 不 向 客户 端 公开 ， 客 户 通过 接口 就 可 以 调用 
服务 端 程序 ， 不 需要 接触 具体 实现 代码 。 其 他 的 好 处 读者 可 以 参考 面向 接口 编程 方面 的 书 
fü, XH LASER S HS BED RI P Bran o 

















public interface ServerProtocol extends VersionedProtocol | 


| 


public static final long versionID =1L; 

publie String method( String args) ; 

publie String methodObj ( Text args) ; 

publie int methodCustomizedObj ( RPCParam args) ; 


通过 程序 中 定义 的 当前 版 本 与 客户 端的 版 本 进行 比 对 ， 当 版 本 不 相同 时 ， 就 会 报错 。 从 而 避 
免 了 由 于 传输 数据 不 一 致 而 导致 的 错误 ( 如 果 没 有 版 本 控制 ， 出 现 此 类 错 


误 只 能 一 行 一 行 











具体 服务 端的 实现 需要 根据 具体 业务 来 确定 。 由 于 我 们 打算 传递 三 种 类 型 的 数据 ， 这 里 
实现 了 三 个 具体 方法 ， 如 代码 清单 9-10 所 示 。 
【代码 清单 9-10 】 


public class ServerImpl implements ServerProtocol | 


public long getProtocolVersion( String protocol ,long clientVersion ) | 
return ServerProtocol. versionID ; 

} 

public String method ( String args) | 
System. out. println( args) ; 
return args; 

} 

public String methodObj ( Text args) | 
System. out. printIn( args. toString( ) ) ; 
return args. toString( ) ; 

} 

@ Override 
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public int methodCustomizedObj ( RPCParam args) | 


return args. getCounter( ) ; 


服务 端的 代码 写 好 后 ， 我 们 可 以 使 用 RPC 框架 启动 服务 端 程序 ， 如 代码 清单 9-11 
所 示 。 
【代码 清单 9-11 】 








public class RPCServer | 
//hadoop 配置 信息 


private static Configuration conf = new Configuration( ) ; 





public static void main ( String args[ | ) throws Exception | 
信服 务 器 端口 号 
int serverPort = 1234 ; 
// NUS niti Hh 
String serverAddress = " 127. 0. 0. 1" ; 





ServerImpl si = new ServerImpl( ) ; 

org. apache. hadoop. ipc. Server server = RPC. getServer( si , serverAddress , 
serverPort , 10 , true , conf) ; 

server. start( ) ; 


server. join( ) ; 


(3) 客户 端 
对 于 客户 端 调 用 RPC 提供 了 两 种 方式 ， 即 代理 方式 和 反射 方式 。 
如 果 利 用 代理 的 方式 调用 服务 器 只 能 有 一 个 ， 调 用 代码 如 下 所 示 。 




















public String method_proxy( String args) throws Exception | 
InetSocketAddress sa = new InetSocketAddress( serverAddress , serverPort ) ; 
ServerProtocol si = ( ServerProtocol) RPC. getProxy ( ServerProtocol. class , 
ServerProtocol. versionID , sa , conf) ; 


return si. method( args) ; 




















如 果 通 过 反射 的 方式 调用 ， 服 务 器 可 以 有 多 个 ， 参 数 为 一 个 二 维 数据 对 应 每 个 服务 器 的 
方法 ， 调 用 代码 如 代码 清单 9-12 所 示 。 
【代码 清单 9-12 】 


public String method_reflected( String args) throws Exception | 
InetSocketAddress| | sa = new InetSocketAddress| | | new InetSocketAddress( 
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serverAddress, serverPort) | ; 
//new InetSocketAddress( serverAddress2 , serverPort2 ) | ; 
Text para = new Text( args) ; 
Object[ ][ | params = new Object[ 1][1]; 
params[0 ] [0] = para; 


// 根 据 反射 找 方法 
Method METHOD = ServerProtocol. class. getMethod( " methodObj" , 


new Class[ | | Text. class | ) ; 


// 找 到 方法 后 ,传人 调用 参数 params ,调用 方法 
Object[ ] objs = ( Object| ] ) RPC. call( METHOD , params , sa , null , conf) ; 
String resultFormOneMachine = ( String) objs[ 0 ] ; 


return resultFormOneMachine ; 


详细 代码 请 参考 sample9 VTestHadoop 。 
利用 HadoopRPC 框架 ， 用 户 可 以 通过 网 络 数据 传输 集成 应 用 





9.4 小 结 


的 集成 框架 ， 














通过 这 一 章 的 实际 操作 ， 我 们 将 MATLAB 与 云 计 算 环 境 集成 。 之 后 又 分 析 了 MATLAB 
ZR 


整理 出 了 使 用 文件 系统 和 网 络 消 息 传递 ， 这 两 种 进行 应 用 集成 的 方式 。 





相信 和 只 要 开发 人 员 持 续 不 断 地 改进 与 创新 ， 会 有 越 来 越 多 优秀 的 云 计算 集成 方法 和 框架 
被 发 明 出 来 。 
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在 前 面 的 章节 中 ， 我 们 使 用 Hadoop, Symphony DE, ISF, 负载 均衡 器 、GAE 、AWS 以 
及 应 用 服务 需 等 各 种 云 计 算 相 关 的 产品 与 技术 解决 了 一 些 工 作 中 遇 到 的 实际 问题 。 在 实践 的 
过 程 中 ， 大 家 可 能 也 意识 到 了 ， 云 计算 所 涉及 的 技术 和 工具 众多 ， 要 真正 使 用 云 计算 解决 问 
题 往 往 需 要 一 个 团队 的 支持 。 使 团队 工作 更 有 效率 ， 部 署 更 加 快捷 ， 云 计算 资源 管理 更 加 合 
理 ， 在 实际 工作 中 是 不 可 忽视 的 。 

作为 云 计算 程序 的 设计 与 实现 人 员 ， 不 但 要 了 解 如 何 设计 和 开发 云 计算 应 用 ， 同 时 也 要 
知道 业务 是 怎样 提供 给 用 户 的 ， 维 护 人 员 是 如 何 维护 云 计算 服务 的 。 开 发 人 员 只 有 在 了 解 整 
套 业 务 的 基础 上 ， 才 能 严谨 并 富 于 创造 性 的 去 开发 应 用 程序 ， 在 方便 最 终 用 户 使 用 的 同时 降 
低 维 护 工作 量 。 

在 开始 本 章 介绍 之 前 ， 读 者 不 妨 先 考虑 一 下 如 果 给 我 们 足够 的 人 力 、 物 力 和 财力 ,我们 
该 如 何 搭建 一 个 云 服务 提供 平台 。 
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假如 ， 某 一 天 某 公 司 或 者 组 织 给 您 一 个 机 会 ， 要 求 您 负责 建立 一 个 云 计 算 服 务 平台 ， 并 
运营 这 个 平台 ， 您 该 怎么 做 ? 

相信 通过 前 面 几 章 的 实践 ， 很 多 读者 已 经 掌握 了 建立 一 个 云 计 算 服务 平台 所 需要 的 基本 
技术 知识 。 我 们 将 使 用 这 些 技术 搭建 一 个 云 计算 服务 平台 。 

现在 来 回顾 一 下 ， 本 书 实践 过 的 技术 。 

首先 在 前 两 章 ， 我 们 学 习 并 实践 了 与 Iaas 相关 的 技术 ， 包 括 虚 拟 化 技术 、 虚 拟 主 机 技 
术 、 主 机 管理 技术 、 负 载 均衡 等 以 及 管理 这 些 TT 基础 设施 并 向 外 提供 服务 的 相关 产品 。 使 
用 这 些 技术 ， 用户 可 以 管理 T 基础 设施 并 向 公司 内 部 的 部 门 提供 虚拟 或 实体 的 主机 服务 。 
同时 也 可 以 通过 因特网 向 外 部 客户 提供 类 似 的 服务 。 

从 第 3 章 到 第 5 章 中 ， 着 重 介 绍 了 Paas 相关 技术 和 几 种 公共 云 计算 产品 ， 并 实际 使 用 
它们 提供 的 服务 开发 自己 的 应 用 。 使 用 公共 云 平 台 可 以 扩充 已 有 的 IT 基础 设施 ， 并 在 现 有 
IT 设施 无 法 满足 应 用 需要 时 ， 通 过 公共 云 计算 平台 快速 补充 IT 资源。 

从 第 6 章 起 ， 着 重 实践 如 何 使 用 云 计算 技术 提高 计算 速度 和 解决 大 数据 量 业务 的 应 用 开 
发 问题 。 开 发 的 应 用 可 为 用 户 提 供 Saas 服务 。 

通过 这 些 技 术 ， 我 们 可 以 建立 起 一 个 云 计算 服务 平台 。 

在 该 平台 中 ， 可 以 利用 公司 现 有 IT 资源 提供 基础 服务 ， 同 时 可 以 通过 购买 新 的 TT 设备 
或 向 公共 云 计 算 平台 购买 服务 的 方式 扩充 云 计算 基础 设施 服务 平台 。 

利用 Hadoop 和 Symphony DE 等 软件 ， 可 以 提升 基础 设施 服务 平台 所 服务 的 范围 ， 向 客 
户 提供 PaaS 服务 。 如 果 运 营 商 自身 拥有 开发 人 员 ， 也 可 以 为 客户 量 身 定做 Saas 服务 。 

在 本 书 前 面 的 音节 中 我 们 学 习 了 实施 云 计算 服务 平台 的 相关 技术 ,但 是 不 是 立刻 就 能 实 
施 呢 ? 通过 前 面 的 描述 可 以 看 到 该 系统 需要 系统 管理 人 员 、 开 发 人 员 以 及 系统 维护 人 员 的 协 
调配 合 。 具 体 来 说 ， 云 计算 服务 平台 需要 满足 如 下 的 需求 。 

1) 为 用 户 提 供 服务 与 支持 。 

2) 解决 用 户 在 使 用 中 碰 到 的 问题 。 

3) 添加 新 的 资源 与 设备 满足 用 户 需求 。 

4) 维护 服务 的 正常 运行 。 

5) 根据 用 户 需 求 变更 服务 。 

本 章 之 前 学 习 到 的 技术 还 无 法 满足 这 些 面向 管理 的 需求 ， 现 在 我 们 需要 一 个 规范 的 工作 
流程 与 服务 运营 维护 系统 。 


| 10.2 IT 服务 标准 


在 云 计算 提出 之 前 ， 人 们 就 已 经 意识 到 管理 大 量 的 TT 资源 是 一 件 需 要 慎重 对 待 的 事情 ， 
并 提出 了 相关 规范 。 

其 中 应 用 比较 多 的 有 ITSM, ITIL, ISO 20000 等 标准 。 其 中 ISO 20000 与 ITSM 都 是 根据 
ITIL 标准 制订 的 。 
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10.2.1 ITIL 简介 


ITIL (Information Technology Infrastructure Library， 信 息 技 术 基 础 架构 标准 库 ) ， 是 英国 
的 一 个 国家 机 构 (CCTA Central Computing and Telecommunications Agency) 于 20 世纪 80 年 
代 开 发 的 一 套 世 业界 的 服务 管理 标准 库 。 它 把 当时 英国 各 界 在 TT 管理 方面 最 好 的 方法 归纳 
起 来 ， 变 成 规范 ， 旨 在 为 企业 的 YT 部 门 提供 一 套 从 计划 、 研 发 、 实 施 到 运行 维护 的 标准 方 
法 。 换 言 之 ITIL 是 一 组 由 IT 最 佳 实践 组 成 的 实践 规范 。 

ITIL 起 初 是 一 组 书 ， 每 一 本 讲述 一 个 特定 的 IT 管理 方案 。 在 第 一 次 发 布 后 的 几 年 间 ， 
关于 ITIL V1 的 书 增加 到 了 30 本 以 上 。 

2000 年 至 2001 年 ,为 了 使 ITIL 更 加 易于 获得 、 学 习 并 且 被 更 多 的 人 接受 ，ITIL V2 将 
所 有 公开 的 实践 方案 重新 整理 。 重 新 整理 后 相关 的 实践 方案 和 流程 指南 被 分 为 8 个 集合 。 它 
们 关注 于 开 管 理 、 应 用 和 服务 。 其 中 ， 最 重要 的 方面 是 服务 管理 (服务 支持 和 服务 交付 ) 。 

也 是 在 这 个 时 期 ， 2001 年 4 月 , CCTA 合并 进 英 国 商 务 部 (OGC, Office of Government 
Commerce ) 。 

在 接 下 来 的 2007 年 5 月 ，OGC Zi f ITIL V3。 它 是 ITIL V2 的 升级 版 本 ,保留 了 之 前 
版 本 中 的 26 个 流程 和 方法 。 

ITSM, ISO 20000 都 借鉴 了 很 多 ITIL 的 概念 ， 故 它们 之 间 很 多 概念 相通 。 本 书 将 结合 我 
们 遇 到 的 问题 对 ITIL 的 部 分 概念 作 介 绍 ， 更 加 详细 的 资料 请 参考 TIL 官方 网 站 (http:// 


www. itil — officialsite. com/ ) 。 











10.2.2 ITSM 简介 





ITSM 标准 (IT 服务 管理 ) 是 一 种 和 ITIL 相关 但 是 不 完全 相同 的 概念 。 惠 普 、IBM、CA.、 
BMC 等 公司 都 宣称 支持 ITSM 标准 并 推出 了 相应 的 产品 。 

笔者 能 找到 的 介绍 ITSM 标准 的 中 立 网 站 一 个 是 http://www. itsm. info， 另 外 一 个 是 
http ://en. wikipedia. org/wiki/IT service management, 

综合 两 个 网 站 的 描述 ，ITSM 借鉴 了 ITIL 文档 中 的 最 佳 实践 ， 并 对 其 中 的 流程 和 实现 作 
了 一 些 有 益 的 补充 。 它 是 一 套 帮助 企业 对 IT 系统 的 规划 、 研 发、 实施 和 运营 进行 有 效 管理 
与 优化 的 方法 ，ITSM 是 ITIL 最 佳 实践 的 体现 。 

另外 根据 维基 百科 的 资料 ，ITSM 不 属于 任何 组 织 和 个 人 ， 这 一 点 与 ITL 不 同 。 


10.2.3 IT 管理 中 的 基本 概念 


不 管 云 计 算 服 务 管理 平台 采用 哪 种 标准 实现 ， 它 们 的 基本 概念 都 较为 类 似 。 我 们 以 
10. 1 节 中 的 需求 为 出 发 点 介绍 相关 概念 。 
本 书 所 涉及 YT 管理 名 词 及 英文 全 称 一 览 ， 如 表 10-1 所 示 。 











表 10-1 IT 管理 名 词 及 英文 全 称 一 览 








X X 名 中 文 名 英文 全 称 
IT Service Support 服务 支持 
Configuration Management 配置 管理 
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(5) 
X xXx 名 中 文 名 英文 全 称 
CMDB 配置 管理 数据 库 Configuration Management Data Base 
CI 配置 项 Configuration Item 
Change Management 变更 管理 
Release Management 系统 发 布 管理 
Incident 事件 
Incident Management 事件 管理 
Problem 问题 
Problem Management 问题 管理 
Service Desk 服务 台 
IT Service Delivery 服务 交付 
Availability Management 可 用 性 管理 
IT Service Continuity Management 连续 性 管理 
Capacity Management 能 力 管理 
Service Level Management 服务 级 别管 理 
SLA 服务 级 别 协议 Service Level Agreement 
Financial Management 财务 管理 











IT 服务 在 概念 上 可 分 为 服务 支持 与 服务 交付 两 部 分 。 

(1) 服务 支持 

1) 配置 管理 : 配置 管理 主要 是 将 组 成 IT 基础 架构 的 各 部 分 和 软 硬 件 资源 记录 在 管理 系 
统 中 ， 方 便 追 溯 和 汇总 相关 信息 。 

2) 变更 管理 : 变更 管理 为 IT 环境 中 所 有 的 变化 提供 标准 的 流程 与 方法 ， 从 而 更 高 效 地 
管理 变更 。 

3) 系统 发 布 管理 : 发 布 管理 是 变更 管理 的 延伸 ， 主 要 负责 测试 、 验 证 以 及 最 终 使 变更 
在 IT 环境 中 生效 。 

4) 事件 管理 : 事件 管理 主要 处 理 在 日 常服 务 过 程 中 用 户 磁 到 的 各 种 故障 及 服务 请 求 。 
它 的 目的 在 于 ， 出 现 故 障 时 能 够 尽快 恢复 服务 的 正常 运作 ， 避 免 业 务 中 断 。 

5) 问题 管理 : 问题 管理 是 解决 IT 服务 所 遇 到 问题 的 一 组 工作 流程 。 它 的 目的 是 分 析出 
引发 问题 的 根本 原因 ， 创 建 或 找到 解决 问题 的 方法 ,减少 问题 所 带 来 的 影响 并 记录 问题 。 通 
过 分 析 总 结 遇 到 过 的 问题 来 避免 以 后 发 生 同 类 问题 。 

6) 服务 台 : 服务 台 是 客户 与 IT 服务 之 间 的 桥梁 ， 它 提供 了 一 个 集中 处 理 用 户 请 求 的 
场所 。 

(2) 服务 交付 

1) 可 用 性 管理 : 可 用 性 管理 的 目标 是 通过 优化 YT 基础 架构 、 服 务 以 及 支持 ， 使 用 户 业 
务 尽 可 能 少 的 出 现 不 工作 的 情况 。 确 保 TT 服务 的 设计 符合 业务 所 需 的 可 用 性 级 别 。 

2) 连续 性 管理 : 连续 性 管理 主要 是 在 发 生 灾难 后 ， 确 保有 足够 的 技术 、 财 务 与 管理 等 
资源 来 确保 持续 服务 的 管理 流程 。 

3) 能 力 管 理 : TT 服务 受到 成 本 和 业务 需求 两 方面 的 制约 。 能 力 管理 就 是 要 在 这 两 方面 的 制 
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约 下 ， 通 过 灵活 配置 服务 能 力 ， 来 满足 用 户 当前 以 及 可 预见 的 未 来 业务 需求 。 

4) 服务 级 别管 理 : 服务 级 别管 理 为 用 户 维护 以 及 完善 服务 级 别 。 其 中 用 户 与 服务 提供 
者 之 间 通 过 签订 服务 等 级 协议 来 定义 具体 的 服务 内 容 与 要 求 。 

5) 财务 管理 : 财务 管理 的 目标 就 是 在 满足 需求 的 基础 之 上 ， 结 合 能 力 管理 、 服 务 级 别 
管理 等 用 最 少 的 资金 满足 服务 需求 。 它 在 帮助 YT 部 门 提供 服务 的 同时 强调 成 本 效益 核算 ， 
过 财务 的 手段 合理 利用 开 资源 ， 达 到 高 效益 。 
通过 这 一 节 的 概念 介绍 ， 我 们 可 以 对 IT 管理 有 一 个 初步 认识 。 可 以 看 出 这 些 概 念 并 不 
是 相互 独立 的 ， 概 念 之 间 也 存在 联系 。 掌 握 一 种 技术 最 好 的 方法 就 是 实践 ， 在 下 面 的 章节 中 
将 实践 这 些 概念 所 涉及 的 方法 ,解决 前 面 碰 到 的 问题 。 


1 3 实践 IT 服务 标准 


实践 YT 服务 标准 可 以 通过 在 企业 中 制订 规章 制度 的 方法 来 完成 ， 也 可 以 通过 使 用 现 有 
的 ITSM 管理 工具 。 在 实际 操作 中 ， 首 先 要 建立 的 是 规章 制度 ， 将 ITSM 与 自身 相 结合 之 后 ， 
再 选择 合适 的 工具 工作 效率 自然 就 会 提高 。 

很 多 厂商 都 提供 了 基于 ITSM 标准 的 管理 工具 。 这 些 工具 都 各 有 特色 ， 用 户 需要 根据 自己 的 
实际 情况 进行 选择 。 为 便于 读者 学 习 ， 本 书 将 采用 OTRS 这 个 开源 的 ITSM 管理 工具 进行 讲解 。 
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10.3.1 OTRS 简介 


OTRS (. Open Technology Real Services, http: //otrs. org ) 平台 为 所 有 以 用 户 为 中 心 的 
服务 提供 基本 的 管理 平台 。 它 适用 于 构建 帮助 台 和 基于 ITSM 标准 的 IT 服务 管理 平台 。 

它 主要 有 以 下 特点 : 

e 免费 软件 ， 完 全 没有 许可 证 限制 。 

e 能 在 多 种 操作 系统 上 安装 运行 , 目前 可 在 Suse, Red Hat Linux 和 微软 Windows 操作 系 

统 上 运行 , 数据库 可 使 用 MySQL, Oracle, SQL Server 等 常见 数据 库 
e 众多 的 用 户 , 其 官方 网 站 宣称 全 球 有 大 约 85，000 用 户 ， 并 仍 在 不 断 增长 。 
本 书 使 用 otrs -3. 0. 8 讲解 。 


10.3.2 安装 OTRS 


OTRS 安装 包含 两 部 分 ， 即 帮助 台 安装 包 和 ITSM 扩展 包 ， 本 书 以 Windows 操作 系统 介 
绍 OTRS 的 安装 。 

首先 从 http://otrs. org 下 载 所 需 的 安装 包 。otrs -3.0.8 -win — installer -2.4.4.exe ( 帮 
助 台 ) ， 以 及 ITSM -3.0.4.opm (ITSM 扩展 包 ) 。 

双击 otrs -3.0.8 — win -installer -2. 4. 4. exe， 即 可 开始 安装 。 由 于 OTRS 使 用 了 Apache 
Http 服务 器 和 MySQL 数据 库 等 开源 项 目 ， 所 以 在 安装 过 程 中 ， 系 统 会 提示 用 户 接受 一 系列 
的 第 三 方 软件 授权 协议 ， 企 业 用 户 在 使 用 时 ， 需 要 特别 注意 这 些 协议 。 对 于 读者 学 习 来 说 ， 
这 些 协议 没有 特别 限制 。 

安装 好 OTRS 帮助 台 后 ， 安 装 程序 会 提示 继续 使 用 Web Installer 进行 配置 ， 通 过 浏览 器 
访问 http ;//localhost/otrs/installer. pl， 将 会 看 到 如 图 10-1 所 示 页 面 。 
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许可 证 Database Settings fications and Mail Finish 
欢迎 使 用 OTRS 
USA Germany 
OTRS Inc. OTRS AG 
19925 Stevens Creek Blvd. Norsk-Data-Str. 1 
Cupertino, CA 95014-2358 61352 Bad Homburg 
电话 : *1(408) 725 7501 电话 : +49 (0) 6172 681988 0 
Mexico The Netherlands 
OTRS SA de C.V. OTRS B.V. 
Oso 127 - 105, Col. Del Valle Schipholweg 103 
03100 Mexico, D.F. 2316 XC Leiden 
电话 : +52 55 5524 3171 电话 : +31 (0)71 58200 255 
Malaysia Hong Kong 
OTRS Solution Shd Bdn OTRS Ltd 
No 17-1B, Jalan Puteri 2/7, Bandar Rm 406, 4/F, Boss Commercial 
Puteri, 47100 Puchong Centre 
Selangor 28 Ferry Street, Jordon 
电话 : +603 8065-1323 电话 : +852 3690 1505 


Web site: hitp-//otrs.com/ 
邮件 地 址 : enjoy@oirs com 


























图 10-1 使 用 Web Installer 进行 配置 














如 图 10-2 所 示 ，OTRS 需要 数据 库 支持 ,但 Web Installer 目前 只 支持 自动 化 配置 MySQL 
数据 库 ， 为 简化 配置 ， 本 书 也 使 用 MySQL 数据 库 来 配置 OTRS 数据 库 。 








创建 数据 库 (2/4) 
ĦA: [root — 
如 果 您 的 数据 库 有 设置 root 密 码 , 请 在 这 里 输入 , 否则, 请 保留 空白 . 出 于 安全 考虑 ， 
我 们 建议 您 为 root 设 置 一 个 密码 , 更 多 信息 请 参考 数据 库 帮 助 文档 
密码 | eeeeeee 
主机 : [localhost | 
HE MySQL v 
Web 安装 向 导 目 前 仅 支 持 MySQL。 If you wantto install OTRS on another 
database type, please refer to the file README.database. 
数据 库 用 户 名 称 {新 建 ) 
用 户 : | otrs 
已 经 为 OTRS 系统 创建 一 个 新 的 数据 库 用 户 
TA: [eee | 
Memor 
DB 一 host | localhost 
数据 库 
宪 称 : | otrs 
动作 : 创建 © 
Ws © 
图 10-2 ”配置 数据 库 
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紧 接 着 需要 配置 管理 员 信 
展示 如 图 10-3 所 示 页 面 。 








zzi ^ 系统 邮件 信息 日 志 存 放 位 置 等 相关 信息 Ao 最 最 终 OTRS 会 





Step 4 


Step 3 





完成 (4/4) 


开始 页 面 : http:ocalhostiotrsjindex.pl 
用 户 : root@localhost 
密码 : root 


{(enjoy) 
您 的 OTRS 小 组 . 


配置 完成 
OTRS 系统 配置 完成 后 ， 会 创建 一 个 默认 的 root@ localhost 管理 员 账 户 ， 


10-3 OTRS &Z 


默认 密码 为 





使 用 该 账户 可 以 登录 系统 管理 界面 ， 如 图 10-4 所 示 。 


root, 












































系统 管理 

服务 人 员 管理 客户 关系 管理 通知 邮件 设置 

服务 人 员 组 客户 客户 单位 邮件 帐号 管理 Werde 

创建 和 管理 服务 人 员 CENERE. 创建 和 管理 客户 创 当 和 管理 客户 单位 管理 收取 邮件 的 POP3 或 IMAP HES. EBREI: 

服务 人 员 <> 群 组 角色 客户 <> 群 组 客户 <> 服务 Email 地 址 SIMIME 证 书 

HS A nón. 创建 和 管理 角色 BHEE ARIRHA. 链接 容 户型 | 服务 - 为 系统 设置 寄 件 人 的 邮件 地 址 管理 邮件 的 SIMIME IRER. 

Agents <-> Roles 角色 <> 组 PGP Keys 

DHRRS A lj. Link roles to groups. 管理 用 户 邮件 加 密 的 PGP E. 

队列 设置 Ticket 设 置 | | 系统 管理 员 

队列 回复 服务 人 员 通 知 通知 (事件) 计划 任务 管理 员 通知 

创建 和 管理 队列 [rr DREMTESRRGORHUSARISA 。 创建 和 管理 基于 事 人 的 通 和 "ESSAIS 发 送 通知 给 用 户 

回复 <> 队列 自动 回复 功能 会 话 管理 系统 监视 串 

谤 接 回复 模板 到 了 人 列 创建 和 管理 自动 发 送 的 回复 类 型 状态 3 管理 当前 登录 会 话 查看 性 能 基准 别 这 结果 
创建 和 管理 Ticket 的 类 型 Gin Ticket 统计 

自动 回复 <> 队 列 附件 系统 日 志 SQL 查 询 窗口 

Link queues to auto responses. AREE 优先 级 服务 查看 系统 日 志 信息 执行 SQL 命令 
Shia Ticket 的 优先 级 别 . 他 键 和 管理 服务 

附件 <> 回复 E CR) E 软件 包 管理 

链接 附件 到 回复 模板 他 键 和 管理 邮件 开头 的 问候 语 服务 品质 协议 (SLA) 编辑 系统 配置 更 新 或 安装 系统 的 软件 包 或 模块 
创建 和 管理 服务 品质 协议 (SLA) 

签名 Support Assessment 

ARRESE Admin-Support Overview 

图 10-4 系统 管理 界面 











现在 我 们 拥有 了 一 个 服务 台 管 理 系统 ， 它 具有 管理 用 户 请 求 、 记 录 客 户 信息 、 维 护 客 户 
关系 等 功能 。 
除 此 之 外 ， 我 们 还 可 以 通过 软件 包 来 添加 新 功能 ， 比 如 添加 ITSM 管理 模块 等 。 


单 击 “系统 管理 ”一 “软件 包 管理 ”一 “安装 软件 包 ”， 将 看 到 如 图 10-5 所 示 界 面 。 


Heim Q 

















软件 包 管理 

动作 在 线 软件 仓库 
ILOADAITSN-3. 0. 4. opm (Làli 名 称 a ,版 本 描述 _ 动作 
FAQ "m 205 The FAQ/knowledge base. 安装 
zerta ve 112 Includes "Ticket Master/Slave" feature. 安装 
| 2041 0 Acustomer survey tool 安装 
[-Master-] http://ftp. otrs. org/ mMonitoring ® 221 0 Basic mail interface to System Monitoring Suites. Also [..] 安装 
更 新 软件 仓 床 信息 Ti unting 2041 OTRS AG ATime Registration Module. 安装 
iPhoneHandle m 102 OTRS AG The iPhoneHandle Package. 安装 

本 地 软件 仓库 
E 版 本 提供 者 | m RE 动作 
Support 126 OTRS AG Verifies System settings and gives performance tips. 已 安装 EEA 





图 10-5 安装 ITSM 扩展 包 
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选择 之 前 下 载 的 ITSM -3. 0.4. opm (ITSM 扩展 包 ) ， 单 击 该 软件 包 ， 即 可 安装 ITSM 管 
理 模块 。 

笔者 在 安装 过 程 中 ， 碰 到 过 一 个 错误 “出 错 信 息 : MySQL server has gone away”。 这 个 问 
题 是 由 于 MySQL 数据 库 的 设置 引起 的 。 解 决 方法 为 更 改 MySQL 数据 库 的 配置 文件 my. ini, 
在 mysqld 配置 中 增加 超时 时 间 和 数据 包 大 小 ， 如 下 所 示 。 














[ mysqld ] 
wait. timeout = 300 


max, allowed, packet = 10485760 

















安装 成 功 后 ， 在 软件 包 管 理 带 中 会 显示 新 增 以 下 软件 包 。 


GeneralCatalog 3.0.4 
ImportExport 3.0.4 
ITSM 3.0.4 
ITSMChangeManagement 3.0.4 
ITSMConfigurationManagement 3.0.4 
ITSMCore 3.0.4 
ITSMIncidentProblemManagement 3.0.4 
ITSMServiceLevelManagement 3.0.4 














现在 我 们 安装 好 了 OTRS， 首 先 要 解决 的 问题 就 是 怎样 为 用 户 提供 服务 。 
10.3.3 创建 服务 台 


作为 一 个 为 用 户 提供 服务 的 系统 ， 必 不 可 少 的 要 与 用 户 沟通 交流 。 用 户 如 何 与 服务 提供 
者 交流 ， 服 务 提供 团队 又 应 该 怎样 与 用 户 交 流 ， 遵 循 怎样 的 流程 ? 

首先 看 一 下 现实 生活 中 我 们 是 怎么 与 服务 提供 者 交流 的 。 相 信 大 多 数 读者 都 有 在 银行 取 
款 的 经 历 。 取 款 的 时 候 ， 我 们 一 般 会 去 银行 窗口 与 银行 工作 人 员 沟 通 后 取款 。 随 着 计算 机 技 
术 的 发 展 ， 渐 渐 产 生 了 ATM、 网 络 支 付 等 服务 。 在 使 用 这 些 服务 的 时 候 ， 通常 会 有 一 个 标 
志 告 诉 我 们 当 出 现 取款 问题 时 打 哪 个 电话 等 辅助 信息 。 这 些 在 日 常生 活 中 所 使 用 的 服务 模 
式 ， 完 全 可 以 套用 到 TIT 服务 中 。 

在 YT 服务 管理 中 ， 提 供 这 种 服务 的 场所 叫 服 务 台 (Service Desk), IT 管理 中 的 服务 台 
就 相当 于 银行 的 服务 窗口 。 服 务 台 的 首要 功能 如 下 。 

1) 事件 控制 : 管理 请 求 事件 的 整个 生命 周期 。 

2) 沟通 : 始终 让 用 户 看 到 事件 处 理 的 进展 并 适时 建议 用 户 使 用 权宜 方案 ， 避 免 问题 阻 
碍 用 户 业 务 的 开展 。 

根据 服务 台 的 功能 ， 对 服务 台 有 多 种 叫 法 。 

1) 呼叫 中 心 : 为 大 量 的 用 户 提供 电话 支持 服务 。 

2) 帮助 台 : 管理 和 协调 功能 并 尽快 在 接 到 问题 的 第 一 时 间 解 决 问题 。 

3) 服务 台 : 不 但 要 处 理事 件 、 问 题 和 求助 ， 同 时 还 要 为 其 他 的 变更 请 求 、 服 务 维护 、 
软件 许可 证 、 服 务 级 别管 理 、 配 置 管 理 、 可 用 性 管理 、 财 务 管理 等 活动 提供 对 外 访问 接口 。 
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企业 或 组 织 需要 根据 自身 业务 的 发 展 选择 合适 的 工作 台 形 式 。 

根据 规模 与 提供 的 服务 有 以 下 几 种 服务 台 。 

1) 本 地 服务 台 : 处 理 本 地 业务 所 需 的 请 求 ， 无 法 处 理 多 个 地 区 的 业务 请 求 。 

2) 中 心服 务 台 : 当 存 在 多 个 地 区 的 业务 时 ， 可 以 创建 中 心服 务 台 协调 各 地 的 服务 ， 减 
少 由 于 沟通 或 协调 不 畅 产生 的 服务 质量 降低 问题 。 

3) 虚拟 服务 台 : 适合 于 有 多 个 地 区 服务 的 业务 ， 用 户 可 以 在 世界 上 任何 一 个 地 方 访问 
服务 台 并 获取 服务 。 它 主要 依赖 于 网 络 以 及 电信 等 基础 设施 ， 能 更 为 广泛 的 为 用 户 服务 。 

在 全 服 务 管理 中 ， 服 务 台 有 一 个 特性 就 是 单 点 联系 (single point of contact) 。 这 样 做 的 
好 处 是 职责 清晰 ， 可 以 协调 其 他 部 门 解决 问题 ， 避 免 由 于 用 户 与 多 个 部 门 沟通 ， 而 导致 问题 
无 法 协调 处 理 。 服 务 台 就 是 为 用 户 方便 使 用 服务 而 设置 的 专门 岗位 。 

在 OTRS 中 最 基本 的 功能 就 是 服务 台 程序 ， 利 用 它 提 供 的 界面 用 户 可 以 方便 提交 请 求 。 

对 于 普通 用 户 ，OTRS 提供 的 界面 称 为 OTRS Customer Interface (http ;//localhost/otrs/cus- 
tomer. pl ) 。 打 开 该 页 面 后 会 提示 用 户 注册 或 输入 之 前 注册 的 用 户 名 和 密码 登录 ， 如 图 10-6 
所 示 。 
































Example Company Support 


Log In 


还 没有 注册 ? 

















图 10-6 用 户 登 录 界 卫 


登录 成 功 后 ， 可 以 看 到 如 图 10-7 所 示 界 面 。 


新 的 Ticket Company Tickets | 搜索 


Welcome! 


Please click the button below to create your first ticket 




















Create your first ticket 





图 10-7 Hp 


在 用 户 界 面 的 首页 面 展示 票 单 。 用 户 可 以 创建 或 搜索 自己 之 前 的 票 单 。 

OTRS 为 管理 员 准 备 的 界面 称 为 OTRS Agent Interface。 使 用 管理 员 账 户 登 录 后 ， 会 看 到 
如 图 所 示 10-8 页 面 。 

在 管理 员 界 面 中 ， 用 户 首先 看 到 的 是 “仪表 板 ” 页 面 。 在 该 页 面 中 列 出 了 管理 员 需 要 
关心 的 用 户 请 求 票 单 (Ticket) 、 最 近 事 件 、 统 计 信 息 等 。 在 菜单 栏 中 还 有 管理 服务 、 配 置 
管理 (CMDB) 、ITSM 变更 等 模块 。 
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Æ Æ CMDB ITSM T TREE 统计 | 客户 __| 系统 管理 Q 





Don't use the Superuser account to work with OTRS! Create new Agents and work with these accounts instead. 












































仪表 板 
产品 新 闻 | 2E 
Can't connect to: http://otrs.org/productxml (500 read timeout) ET Y 
| 最 近 了 天 统计 
提醒 的 Ticket | 10 
EE Ticket (0) | 我 的 队列 (0) | 全 部 (0) | 
x | | 
升级 的 Ticket |. i | | 4 | 
| 
Eds Ticket (0) | 我 的 队列 (0) | 全 部 (0) m E E i lit E 
I | | 
Li - - [EE E E 
新 的 Ticket | cg 
EE Ticket (0) | 我 的 队列 (0) | 全 部 (9) | 即将 到 来 的 事件 
[m 2010080210123456 Welcome to OTRS! 334 X 15A} | x 
打开 的 Tickets/ 需 要 回答 r 
需 : OTRS 新 闻 
已 镇定 Ticket (0) | 我 的 队列 (0) | 全 部 (0) 
Lx Oo 














TRS users meet up Dormagen 
OTRS, SugarCRM, Zendesk, ServiceNow 
and other 1 

E fs =i 

10-8 管理 员 登 录 界面 


接 下 来 ,我 们 将 结合 前 面 的 需求 ， 实 际 使 用 OTRS 对 之 前 所 设想 的 云 服务 系统 进行 
管理 。 


10.3.4 票 单 管理 


我 们 大 部 分 人 在 实际 工作 中 空闲 的 时 候 并 不 多 ， 也 许 出 于 好 心 或 勤奋 很 快 地 帮 别 人 解决 
了 某 个 问题 。 但 当 手 上 有 很 多 工作 要 做 时 ， 你 会 关注 某 个 人 的 请 求 么 ?解决 之 道 就 是 定义 合 
理 的 请 求 处 理 流程 。 根 据 请 求 的 影响 程度 和 紧急 程度 对 请 求 类 型 进行 分 级 。 

这 里 影响 程度 通常 是 指 故障 所 影响 的 用 户 数量 。 如 果 影 响 的 用 户 数量 很 多 ， 那 么 影响 程 
度 就 大 ， 如 果 影 响 的 用 户 数 很 少 ， 相 应 的 影响 程度 就 低 。 

紧急 程度 通常 是 指 故 障 所 涉及 的 设备 是 否 属于 关键 设备 、 该 设备 是 否 有 备份 等 。 

通过 对 影响 程度 和 紧急 程度 的 分 析 ， 可 以 得 到 该 请 求 的 处 理 优 先 级 。 

(1) 事件 管理 

用 户 可 以 登录 http ://localhost/otrs/ customer. pl 来 创建 请 求 事件 ， 单 击 “ 新 的 Ticket” 按 
钮 ， 设 置 “ 类 型 ”为 meident， 填 写 详细 的 事件 信息 ， 设 定 优 先 级 ， 如 图 10-9 所 示 。 

当 提 交 事 件 后 ，OTRS 会 通过 电子 邮件 给 管理 员 发 一 封 邮件 ， 管 理 员 通 过 邮件 或 定期 检查 
票 单 页 面 就 会 得 知 有 新 的 事件 需要 处 理 。 通 过 票 单 页 面 可 以 对 该 事件 进行 处 理 ， 如 图 10-10 
所 示 。 

在 OTRS 中 所 有 的 事件 以 及 后 面 要 说 的 问题 、 服 务 请 求 、 新 的 产品 需求 都 会 变 为 票 单 。 
对 于 这 些 票 单 ， 管 理 员 可 以 根据 轻重 缓急 进行 分 级 ， 同 时 根据 实际 处 理 情况 修改 票 单 状态 。 

票 单 的 处 理 要 精确 到 人 。 一 般 服 务 管理 员 中 的 组 长 或 者 经 理 负责 分 配 票 单 给 具体 的 管理 
员 ， 如 图 10-11 所 示 。 

票 单 所 有 者 将 负责 该 票 单 的 所 有 事务 。 对 于 网 络 问题 ， 它 有 可 能 是 一 时 的 网 络 通信 数据 
量 过 大 所 造成 的 ， 在 这 种 情况 下 ， 管 理 员 可 以 立刻 通过 票 单 系统 答复 用 户 ， 并 根据 处 理 情况 
改变 票 单 状态 ， 如 图 10-12 所 示 。 


cC 
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类 类 型 :| | Incident [-] 











*WIEA: | | Raw Z 

服务 目录 : | | -加 | 
服务 级 别 协议 (SLA) |- 加 | 

* 标题。 | 请 协助 检查 192.168.1.1 服 务 器 








* EX: 
BIVUJUS[i-:- È? oEESEB S 图 一 和 i 
Et m. xe mix^ mia-7-2 
z à El 
请 协助 检查 192.168.1.1 服 务 器 . 
从 西 安 访问 该 服务 器 速度 很 慢 , 请 检查 是 否 网 络 存 在 问题 
4 
附件 : A5... 





优先 级 : | |3 正常 ~ 





10-9 ”提交 事件 页 面 


服务 CMDB ITSM CHANGES 统计 客户 

















Don't use the Suj r account to work with OTRS! Create new and work with these accounts instead. 





Ticket&2011070410000011 — 请 协助 检查 192.168.1.1 服 务 器 


1 信息 总 时 间 : 1 m — BRE: 2011.07.04 21:54 
Ei|WEEEIS80xm| SHH ITSM 域 | 链接 | 所 有 者 | 客户 | 决定 | 注解 | 合并 | 等 待 | 关闭 | -UX- v 





图 = 


















Qiang Xu 请 协助 检查 192.168.1.1 顾 务 器 


1 x 











一 Web 诗 求 2011.07.04 21:54 





v #1 -请 协助 检查 192.168.1.1 服 务 器 
#2 | eil 分 解 1 打印 | - 回复 - X 


创建 : 2011.07.04 21:54 








Qiang Xu 


Raw 


38558518 2:192.168.1.158.2:88- 
从 西安 访问 该 服务 器 速度 很 僧 ， 请 检查 是 否 网 阁 存 在 问题 


Tn 


图 10-10 EHAA 








(2) 问题 管理 

继续 前 面 提 到 的 使 用 服务 器 遇 到 的 问题 。 这 一 次 的 情况 是 用 户 需要 在 服务 器 中 安装 某 种 类 型 
的 软件 ， 但 是 安装 过 程 中 存在 问题 。 这 时 用 户 同样 可 以 提交 一 个 问题 票 单 ， 如 图 10-13 所 示 。 

处 理 问 题 票 单 一 般 需 要 进行 问题 分 析 。 针 对 用 户 不 能 安装 软件 的 问题 ， 首 先 可 以 查找 现 
有 的 问题 中 是 否 有 针对 该 问题 的 解决 方法 。 如 没有 ， 则 需 将 该 问题 通知 专门 的 服务 器 管理 人 
员 ， 由 服务 器 管理 员 调 查 产 生 问题 的 根本 原因 。 然 后 由 服务 器 管理 人 员 给 出 解决 方案 。 当 找 
到 解决 方案 后 ， 通 知 该 票 单 的 所 有 者 。 
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新 所 有 者: OTRS Admin (root@localhost) 











更 新 聚 单 所 有 者 

















Á 
注 革 类型。 ERE | 





图 10-11 更 改 票 单 所 有 者 


RGA: OTRS System <otrs@localhost> 
* 收 件 人 :| Qiang Xu <xqfying@163.com> 


























抄 送 

三 = 二 一 ES. 

TE: | Re: [Ticketk2011070410000011] 5258 192.168.1.18488 | -s-z [x 
选项 : [ERES] 正文 

EX: 














EF dT hi ASUEP. EERTE. WUEMISDREIKEIEW 
Dear skater Qiang Xu, 
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Your Ticket-Team 


Admin OTRS 





Super Support - Waterford Business Park 
5201 Blue Lagoon Drive - 8th Floor & 9th Floor - Miami, 33126 USA 
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PRRD 内 部 注解 v 

2011.07.04 21:54 - Qiang Xu i: a 
3R 192.168.1.182A E | TRE [成功 关 闭 ~ 
从 西 去 访问 这 务 关 这 度 很 慢 ， 请 检查 是 否 网 络 存 在 问 是 | Review Required: 





时 间 单元 工作 单元 





























图 10-12 答复 用 户 并 关闭 事件 


票 单 所 有 者 将 负责 注解 票 单 。 这 些 注 解 信息 可 用 于 以 后 同类 问题 的 解决 ， 以 及 汇总 分 
析 ， 以 防 以 后 犯 同类 错误 ， 如 图 10-14 所 示 。 

接 下 来 使 用 注解 信息 执行 恢复 动作 、 备 注 处 理 结果 。 如 果 成 功 恢复 ， 管 理 员 可 以 总 结 
件 类 别 ， 如 有 必要 还 可 将 该 问题 写 在 专门 的 文档 中 作 更 详细 的 说 明 。 如 果 不 能 成 功 恢 复 ， 则 
重新 进入 问题 诊断 。 问 题解 决 后 的 处 理 与 事件 处 理 方式 相同 ， 答 复 用 户 后 关闭 票 单 。 

对 于 问题 管理 ， 还 有 另外 一 种 流程 。 

服务 器 管理 员 或 者 软件 开发 人 员 分 析 事 件 并 发 现 潜在 问题 后 ， 填 写 问题 单 。 分 析 解 决 问 
题 后 ， 注 解 问题 单 ， 总 结 问题 并 将 问题 标注 为 已 知 错误 ， 最 后 关闭 问题 单 。 

第 二 种 流程 ， 对 于 问题 的 发 现 不 依赖 于 用 户 ， 这 样 就 能 争取 更 多 的 时 间 来 解决 问题 ， 在 
实际 中 可 以 由 测试 组 来 负责 创建 此 类 问题 单 。 








291 


云 计算 : 应 用 开发 实践 


类 类 型 : | | Problem iz] 
类 收 件 人 : | | Raw 
服务 目录 : 
服务 级 别 协议 (SLA) | [-[»] 
类 标题 :| | 服务 法 安装 X2OG 软 伸 


























* EX 
Bigysji[ss[sezasmje E 一 n 
&t Ble Ble Mia-7-2 : 
无 法 在 192.168.1.1 安 装 X2XOOOG 软 件 
Á 
阳 件 | IR. 
优先 级 : | |3 正常 














图 10-13 ”提交 问题 

















CEN.) CIIM.) EE rm er 


该 问题 是 由 于 192.168.1.1 上 没有 安装 最 新 的 去 动 造 成 的 . 
项 要 安装 Fedora XXX Version XXX package 

















注 革 类 型 。 | 内 部 注解 | 
时 间 单 元 工作 单元 : 
CSSS | 
K 10-14 添加 注解 














10.3.5 服务 级 别管 理 
在 前 面 提交 票 单 的 时 候 ， 读 者 也 许 注 意 到 了 ， 在 票 单 提交 页 面 还 有 服务 目录 和 服务 级 别 


协议 (SLA) 的 下 拉 列 表 框 ， 本 市 将 介绍 它们 的 作用 。 
服务 级 别 协 议 是 用 户 与 服务 提供 者 之 间 通 过 签订 协议 的 方式 来 明确 定义 具体 的 服务 内 容 


与 要 求 o 
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我 国正 在 制订 相关 的 信息 技术 服务 质量 标准 评价 体系 ， 现 在 该 体系 正 处 在 审核 阶段 ， 硕 
望 尽 早 实 施 。 在 该 体系 正式 发 布 之 前 ， 对 于 用 户 而 言 ， 特 别 是 依赖 于 IT 服务 的 企业 用 户 ， 
仍然 需要 一 个 合理 的 服务 级 别管 理 标 准 。 原 因 有 两 个 方面 ， 对 于 依赖 于 IT 基础 设施 的 客户 
而 言 ，IT 服务 的 成 功 与 否 直接 关系 到 其 业务 是 否 能 正常 开展 。 在 涉及 企业 业务 利益 时 ， 与 
服务 提供 商 的 关系 将 显得 苑 白 。 而 对 于 服务 提供 商 来 说 ， 也 需要 一 个 标准 来 界定 什么 是 该 做 
的 什么 是 不 该 做 的 ， 从 而 更 好 地 控制 成 本 。 客 户 与 服务 提供 商 之 间 发 生 业 务 纠纷 时 ， 往 往 服 
务 提供 商会 说 自己 干 了 多 少 工 作 ， 给 客户 服务 完全 是 赔钱 。 而 客户 一 般 不 管 提供 商 付 出 了 多 
少 ， 只 关心 业务 在 某 段 时 间 发 生 的 故障 对 自己 的 影响 。 所 以 说 一 个 合理 的 标准 是 讨论 责任 归 
属 和 合理 控制 服务 成 本 的 关键 。 

IT 服务 中 一 个 非常 重要 的 概念 就 是 SLA， 围 绕 着 SLA 设计 了 一 整套 管理 体系 ， 它 的 作 
用 主要 集中 在 “协议 ”二 字 上 ， 它 表示 服务 提供 者 与 客户 就 某 项 服务 提出 的 量化 指标 ， 它 
具有 法 律 效 力 ， 可 以 看 成 合同 的 一 部 分 。 这 里 我 们 首先 要 解释 一 个 名 词 “ 服 务 目 录 ”。 

1， 服 务 目 录 

当 我 们 要 提供 TT 服务 给 用 户 时 ， 首 先 需 要 与 用 户 协商 的 是 服务 的 具体 内 容 ， 这 就 是 服 
务 目 录 。 

对 于 云 计算 服务 提供 平台 而 言 ， 我 们 所 提供 的 就 是 各 种 云 计 算 服 务 ， 比 如 虚拟 主机 服 
务 、VPS 服务 、 大 规模 计算 服务 (使 用 Symphony DE 或 者 Hadoop 搭建 计算 环境 ) 、 大 数据 
量 存储 服务 ， 等 等 。 只 有 清楚 了 解 所 要 提供 的 服务 ， 才 能 为 每 一 项 服务 需要 达到 的 服务 级 别 
与 用 户 协商 达成 一 致 ， 并 提供 具体 报价 ， 因 为 服务 级 别 与 服务 成 本 是 成 正比 的 。 在 OTRS 
中 ， 可 以 通过 “系统 管理 ”一 “服务 ”一 “增加 服务 ”实现 ， 如 图 10-15 所 示 。 


增加 服务 








































































































筷 务 目 孙 :| VPS 服 务 





X 





Sm (IT 运营 ~ 
Criicality 3 正常 e 
EX | 有效 ~ 
BRE [mxBRGVPER 











图 10-15 增加 服务 

在 服务 目录 中 除了 名 称 、 类 型 这 类 基本 信息 外 ,还 有 Criticality (重要 性 )， 我 们 可 以 通过 
该 服务 所 影响 的 用 户 业 务 来 确定 服务 的 重要 性 。 服 务 的 具体 内 容 决 定 了 SLA 约束 的 服务 范围 ， 
在 服务 目录 之 外 的 内 容 将 不 受 SLA 的 限制 ， 具 体 的 报价 是 不 考虑 这 些 额外 服务 内 容 的 。 

OTRS 对 于 服务 目录 的 定义 仍然 不 够 详细 ， 这 将 不 利于 后 期 维护 、 阅 读 与 理解 。 实 际 的 
服务 目录 要 将 具体 所 涉及 的 计算 资源 包含 在 内 ， 要 细 化 到 用 户 到 底 使 用 哪些 种 类 的 计算 资 
源 。 由 于 OTRS 的 开源 特性 ， 在 实际 使 用 中 我 们 可 以 根据 需要 进行 修改 。 最 终 目的 都 是 为 了 
便于 查阅 ， 在 出 现 问 题 时 有 参考 依据 。 

2. 创建 SLA 

现在 可 以 看 一 下 如 何在 OTRS 中 创建 SLA。 单 击 “ 系 统管 理 ” 一 “服务 级 别 协议 ”一 
“增加 协议 ”， 如 图 10-16 所 示 。 

首先 选择 SLA 类 型 ， 这 里 以 恢复 时 间 为 例 来 作 介 绍 。 选 择 刚 刚 创建 的 VPS 服务 作为 
SLA 的 服务 。 
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编辑 SLA 





: [VPSRÆSLA 
”恢复 时 间 v 


: |Hadoop 计 算 <^ 


Escalation - update time (r£) 


Escalation - solution time (4r$9): 


T 





| Calendar 1 -Ia - 


Escalation - first response time (4#): 


[eo (ases 10$ v) 
0= 无 限时 -24 小 时 = 1440 hH - 仅 以 上 班 时 间 计 算 





| 1440 GEEH 50% v) 
0= 无 限时 - 24 小 时 = 1440 分 钟 - RUER 
GEEH 90% v) 
0= 无 限时 -24 小 时 = 1440 rh -QUERE 


4320 





最 每 的 时 间 与 事件 (分 钟 ) [go 
#4 AA E 
EX 





器 











接 下 来 有 个 “日 历 ” 下 拉 列 表 。 








保证 YPS 在 一 定时 间 内 恢复 的 SLA 


EFI 


10-16 创建 SLA 
这 就 牵扯 到 SLA 中 一 个 重要 概念 一 一 服务 日 历 。 它 决 





pet 


定 了 SLA 约束 的 时 间 范 围 ， 即 该 服务 协议 为 客户 提供 的 服务 时 间 范 围 ， 是 7x24 (7 x24 小 
时 是 指 每 周 7 天 每 天 24 小 时 提供 支持 服务 ) 还 是 5 x8 (5 x8 小 时 是 指 每 周 5 天 每 天 8 小 时 
提供 支持 服务 ) ， 是 否 扣除 一 个 法 定 假期 等 细节 。 不同 的 日 历 意味 着 人 力 与 管理 成 本 的 差 
异 ， 在 报价 结算 时 要 考虑 这 些 细节 和 时 间 因 素 。 

在 SLA 的 创建 页 面 中 ， 有 很 多 可 供 选 择 的 日 历 。 可 以 通过 “系统 管理 ”一 “系统 配 
置 ” 一 Framework 一 Core: :Time: :Calendar 来 进行 设置 ， 如 图 10-17 所 示 。 














Don't use the Superuser account to work with OTRS! Create new Agents and work with these accounts instead. 








系统 配置 
动作 结果 





| [ex] 





az 








Navigate by searching in 2136 settings 






LinkObject 
Log 








Framework (424) - 
Navigate by selecting config groups 


Time::Calendar9 
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图 10-17 更 改 服务 日 历 


D | 
gow|eogoseomMu 


CROESOR E E E ETETE 
oN= 


Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
Framework 
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在 服务 日 历 中 可 以 去 除 节 假日 或 定义 工作 时 间 ， 如 图 10-18 所 示 。 
系统 配置 
动作 编辑 系统 配置 in Framework -> Core::Time::Calendar1 


4| TimeZone::CalendariName [工作 日 


Defines the name of the calendar number 1. 

















RUE: Calendar Name 1 


y| TimeZone::Calendar1 




































































8 v 

Defines the time zone of the calendar number 1, i0 

which can be assigned later to a specific queue. 

y| TimeVacationDays::Calendar1 月 -日 -正文 

Adds the permanent vacation days for the calendar Ye 

number 1. Please use single digit pattern for numbers | 1 1 New Yoere Day e 

from 1 to 9 (instead of 01 - 09). | 5 1 International Workers' Day Ə 
|12 ||24 || Christmas Eve 日 
|12 ||25 ||FirstChristmas Day o 
[12 |[26 || Second Christmas Day o 
| 
|12 ||31 ||New Years Eve o 
e 

v| TimeVacationDaysOneTime::Calendar! ”年 -月 -日 -正文 

Adds the one time vacation days for the calendar zon] 1 E |[test e 








number 1. Please use single digit pattern for numbers 
from 1 to 9 (instead of 01 - 09). 


















































































































































v| TimeWorkingHours::Calendar1 Mon 

Defines the hours and week days of the calendar 012234 556 7 8 9 10111213 14 15 16 17 18 19 20 21 2223 

number 1, to count the working time. [7] [7 [E] [E] [7] [9] [E] [V] [7] [7] [3 [] [v] [v] [V] [V] [V] [V] [V] [V] [E] [7] E 
Tue 


图 10-18 设置 日 历 
设置 完 服务 日 历 之 后 ， 在 创建 SLA 的 页 面 中 ， 可 以 看 到 很 多 时 间 配 置 。 这 些 时 间 配 置 
规定 了 在 多 长 时 间 给 用 户 反馈 。 这 在 SLA 中 称 为 解决 时 间 ， 它 是 指 当 发 生 某 种 事件 时 ， 完 
成 处 理 的 时 间 要 求 ， 如 图 10-19 所 示 ， 页 面 中 分 别 定义 了 恢复 服务 1096, 5096 以 及 9096 的 
具体 要 求 ， 正 是 这 些 细致 的 配置 将 成 本 、 人 员 安 排 、 设 备 配 置 等 因素 紧密 地 结合 在 一 起 。 


增加 服务 级 别 协议 (SLA) 








服务 级 别 协 议 (SLA): [新 SLA 


交易 |[z| 


Hadoop 计 算 
VPS 服 务 





AM: [Calendar 1 -工作 日 lz] 
Escalation - first response time (分 钟 } [480 (进度 通知 | 10% [zh 
0= 无 限时 -24 小 时 = 1440 分 钟 - 保 以 上 班 时 间 计 算 
Escalation - update time (分 钟 ) | 4449 (进度 通知 | 5096 E) 
0= 无 限时 - 24 小 时 = 1440 分 钟 - (RUL EVER IEEE 





Escalation - solution time (分 钟 )} | 2880 (进度 通知 [90% I=) 
0= 无 限时 -24 小 时 = 1440 分 钟 - 仅 以 上 班 时 间 计算 
最 短 的 时 间 与 事件 (分 钟 ) 
** m El 
主 释 
对 
10-19 创建 SLA 





器 
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3. SLA 测量 

在 实际 使 用 中 我 们 还 需要 根据 服务 的 具体 执行 情况 ， 计 算 SLA 是 否 正确 执行 。 这 引出 
了 SLA 中 的 男 一 个 概念 一 一 可 用 性 。 

具体 到 我 们 的 例子 ， 用 户 可 以 通过 检查 提交 票 单 的 方式 来 查看 服务 方 是 否 按 照 SLA 的 
标准 提供 了 适当 的 服务 。 通 常 的 公式 是 

可 用 率 = (服务 日 历 总 时 间 -停机 时 间 )/ 服 务 日 历 总 时 间 

根据 票 单 上 的 记录 可 以 计算 可 用 率 。 而 通过 可 用 率 就 可 以 看 出 SLA 的 实际 执行 情况 。 

在 实际 操作 中 ， 一般 用 户 与 服务 提供 商 所 计算 的 可 用 率 经 常 不 一 样 。 问 题 还 是 出 现在 细 
节 上 。 比 如 某 段 停机 时 间 是 由 用 户 的 不 当 操作 造成 的 ， 用 户 往往 将 其 也 作为 停机 时 间 。 但 事 
实 上 这 种 时 间 时 应 当 是 由 用 户 自己 承担 的 。 服 务 提供 商 这 时 就 要 将 历史 票 单 拿 出 来 跟 用 户 说 
明 情 况 。 

对 于 云 计算 而 言 ， 由 于 服务 常常 需要 大 量 的 计算 机 ， 并 且 服 务 是 跨 不 同 区 域 的 。 某 一 个 
地 区 的 停机 对 全 局 的 影响 都 是 有 限 的 ， 但 对 某 个 地 区 的 影响 确 有 可 能 是 巨大 的 。 这 时 就 可 能 
需要 两 个 级 别 的 可 用 性 计算 ,一 个 是 全 局 可 用 性 ， 男 一 个 是 局 部 可 用 性 。 计 算 可 用 性 不 但 对 
用 户 有 好 处 ， 服 务 提 供 者 也 可 以 清楚 地 认识 到 当前 服务 中 所 存在 的 问题 ， 并 根据 发 现 的 问题 
持续 改进 。 

在 计算 可 用 性 的 实践 中 ， 我 们 还 会 磁 到 很 多 问题 ， 比 如 停机 这 个 概念 。 计 算 机 停机 并 不 
一 定 就 是 彻底 不 能 用 ， 有 可 能 是 其 中 的 某 一 个 功能 软件 出 现 了 问题 。 在 具体 的 实践 中 ， 要 结 
合 票 单 的 优先 级 来 对 停机 时 间 进 行 加 权 处 理 。 对 于 严重 错误 ， 需 要 计算 所 有 时 间 ， 而 对 于 非 
严重 性 错误 ， 比 如 软件 无 法 更 新 则 可 以 计算 10% 的 时 间或 者 根本 不 用 计算 这 部 分 的 停机 时 
间 ， 即 把 事件 的 等 级 与 可 用 性 影响 关联 。 

随 着 用 户 业 务 的 扩大 ， 中 国 的 企业 可 能 有 越 来 越 多 的 跨 地 区 其 至 跨国 业务 ， 也 就 免不了 
与 各 地 区 的 服务 提供 商 打 交道 ， 服 务 级 别管 理 协议 是 业务 顺利 运行 的 有 力 保障 。 


10.3.6 变更 管理 


在 开 管 理 中 ， 用 户 的 需求 、 提 供 的 服务 、 设 备 的 配置 、 成 本 等 一 直 在 发 生变 化 。 如 何 
高 效 地 适应 这 些 变 化 是 所 有 服务 提供 者 都 会 面临 的 问题 。 

从 某 种 程度 上 ， 我 们 可 以 把 变更 视 为 事件 管理 的 延续 。 在 前 面 的 例子 中 我 们 处 理 了 一 些 
IT 管理 事件 ， 随 着 事件 的 严重 性 ， 我 们 需要 将 事件 升级 为 问题 (在 前 面 的 例子 中 ,我 们 直 
接 以 用 户 身 份 提交 了 问题 ) 。 而 伴随 问题 的 产生 ， 相 关 人 员 (开发 人 员 、 设 备 供应 商 、 软 件 
供应 商 ) 的 介入 ， 对 于 问题 的 解决 一 般 为 : 流程 更 新 、 设 备 更 新 、 软 件 更 新 等 具体 解决 方 
案 。 而 这 些 解决 方案 ， 往 往 伴随 着 人 员 以 及 成 本 而 变动 。 对 待 这 些 变动 需要 专门 的 讨论 以 及 
审批 。 

笔者 曾经 遇 到 过 一 个 问题 ， 在 使 用 某 个 软件 做 计算 时 ， 隔 了 一 天 后 突然 发 现 客户 端 
程序 不 能 顺利 运行 ， 由 于 笔者 对 客户 端 做 过 修改 ， 于 是 就 从 自己 的 代码 上 找 原 因 ， 但 没 
有 发 现任 何 问题 。 问 其 他 开发 人 员 才 知道 他 们 对 服务 咒 软 件 进 行 了 升级 ， 导 致 协议 变更 。 
读者 可 能 会 说 ， 在 协议 端 加 版 本 信息 不 就 可 以 解决 了 人 么 ? 确实 如 此 。 但 是 ， 这 件 事 情 中 
除了 软件 编写 问题 外 ， 依 然 有 可 以 改进 的 地 方 ， 如 果 更 新 服务 器 软件 的 同事 发 一 封 邮件 
给 所 有 开发 人 员 ， 像 笔者 这 样 毫 不 知情 的 人 就 不 至 于 浪费 一 天 时 间 去 检查 本 来 就 没有 错 
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ses]. 
的 代码 。 

IT 变更 管理 所 要 解决 的 问题 与 我 磁 到 的 问题 类 似 ， 但 简单 的 发 送 邮 件 是 不 能 完全 解决 
问题 的 。 我 们 来 看 一 个 具体 的 例子 ， 比 如 某 问 题 的 解决 需要 添加 内 存 。 

(1) 创建 变更 请 求 

在 OTRS 中 ， 单 击 ITSM Changes 一 “新 建 "， 将 创建 变更 请 求 ， 如 图 10-20 所 示 。 


* 称谓 :| RPEOOOCGECR2S192.168. 1.18 4-882 104GB AE 
* 描述 : 























BI: us| zl% Ezaa on moell n 
- 9 
用 户 XOC, 要 求 为 192.168.1.1 服 务 器 深 加 4GB 内 存 

* Justification: 





用 户 在 192.168.1.1 上 运行 的 数据 库 速 度 过 悦 ， 检 查 后 发 现 ， 内 存 使 用 率 始终 在 90% 以 上 - 


故 在 与 客户 沟通 后 ， 客 户 决定 增加 内 存 ， 以 提高 数据 库 访问 速度 . 














图 10-20 提交 新 变更 请 求 
在 变更 请 求 中 需要 详细 填写 变更 要 求 和 原因 ， 变 更 要 求 创 建成 功 后 ， 将 可 以 看 到 如 图 
10-21 所 示 页 面 。 


EEJ] S | 打印 | 编辑 | Involved Persons | Add Workorder | Conditions | $$3& | 模版 


v ITSMChange - 用 户 XXX, 要 求 为 192.168.1.1 服 务 器 添加 4GB 内 存 
Si RPYOQOGECR2S192.168.1.18 8 8E RIDAGB AE 


Justification: RiP1E192.168.1.1.Eiz 478 SGE RGEEETTIS, HEGRE VORARRISRPSÉRESOUSUI E. 
故 在 与 客户 沟通 后 ， 客 户 决定 增加 央 存 ， 以 提高 效 据 库 访 问 速度 . 


pe 


图 10-21 成 功 创建 变更 请 求 
如 果 该 变更 请 求 是 比较 常用 的 ， 则 还 可 以 将 其 转变 成 模板 ， 如 图 10-22 所 示 。 


Save Change as Template: Change# 2011071710000014: 用 户 XXX, 要 求 为 192.168.1.1 服 务 器 添加 4GB 内 存 


Cancel & close window 





模板 冬 称 : | 升级 内 存 

















注 基 :| 升级 内 存 模板 | 
Reset States: 回 


有 有效 GRO V 
图 10-22 创建 模板 
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如 果 以 后 还 有 类 似 请 求 ， 就 可 以 使 用 模板 创建 变更 请 求 如 图 10-23 所 示 。 


Add Change 


Select Change Template 


“ER 升级 内 存 (升级 内 存 模板 ) v 
Time type: PlannedStartTime w 


New time: 2011 . EA. oT .1l17Tv-18 v:34 v 








图 10-23 ”使 用 模板 创建 变更 请 求 
(2) 受理 变更 请 求 
受理 变更 请 求 后 ， 首 先 需 要 将 该 变更 通知 相关 的 人 员 ， 并 安排 人 员 作 相应 变更 。 在 
OTRS 的 变更 请 求 配 置 页 面 可 以 进行 配置 ， 如 图 10-24 所 示 。 
后 氨 | 历史 | 打印 |88 Conditions | &&&& | 8% 


v ITSMChange - 用 户 XXX, 要 求 为 192.168.1.1 服 务 器 添加 4GB 内 存 
St RÉPÉJ00GER7S192.168.1.122 RMB P0 


Justification: FiP1192.168.1.1.E:z/7 6] SS REGE SGTIS, HESR. UHORÜERIEERSÉRESOSSULE. 
故 在 与 客户 沟通 后 ， 客 户 决 定 增加 内 在 ， 以 提高 效 据 库 访 问 束 度 . 





10-24 ”变更 请 求 配置 页 面 
单 击 Involved Persons 按钮 ， 可 以 添加 相关 人 员 。 这 里 要 注意 ， 与 ITSM Change 相关 的 人 
员 需 要 添加 到 与 itsm 相关 的 组 中 。 配 置 用 户 组 页 面 如 图 10-25 所 示 。 
















































































Change Group Relations for Agent adai 
sz | Elige | Ossa | Dae | Anor | Oesa | Deta Das 
admin 回 [a 回 回 回 回 o 
tsm-change [vi 
itsm-change-builder 回 IF 回 m] 回 m] 回 
itsm-change-manager : 
ism-configitem [Fl A 回 回 m] [Fl 回 
itsm-service 
stats 图 回 回 回 回 回 回 

| users B : | 

seis 





图 10-25 配置 用 户 组 页 面 
接 下 来 ， 可 以 把 相关 人 员 添 加 到 该 变更 请 求 中 ， 如 图 10-26 所 示 。 


编辑 Involved Persons of Change# 2011071710000023 - 用 户 XXX, 要 求 为 192.168.1.1 服 务 器 添加 4GB 内 存 


Cancel & close window 





Involved Persons 








* ChangeManager: |" 阿 R^ <xqfying@163.com> 








* ChangeBuilder: | "Admin OTRS" <root@localhost>," 阿 3" «xqflying)163.com» 


10-26 添加 相关 人 员 页 面 
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去 o|. 


加 入 到 该 变更 请 求 中 的 相关 用 户 会 接受 到 与 该 请 求 相关 的 所 有 信息 。 通常 这 些 人 需要 开 
个 会 统一 变更 解决 方案 。 并 通过 添加 Work Order 细 分 每 一 项 具体 任务 。 添 加 Work Order 如 
图 10-27 所 示 。 





Workorder 








* 称谓 | 购买 内 存 
* |nstruction: 








Ci | i | T7 7777 


为 192.168.1.1 购 买 4GB 内 存 














WorkOrderType: | workorder | 
PlannedStarTime: [2011] . Ml 07 v17 vl- 22 -132 = 


PlannedEndTime: (2011 ~ [LOT -17 ~l- 23 «132 ~ 
PlannedEffort: 








附件 : 





[| 
图 10-27 添加 Work Order 页 面 


管 是 什么 任务 ， 其 中 最 重要 的 一 环 就 是 指定 具体 做 事 的 人 。 我 们 可 以 将 购买 内 存 的 任 
B 给 专人 执行 ， 如 图 10-28 所 示 。 


编辑 WorkOrderAgent of Workorder£ 2011071710000023 - 1: 购买 内 存 


Cancel & close window 


WorkOrderAgent | " 阿 x «xqflying(2163.com- 


K 10-28 指定 任务 处 理 人 页 面 











OTRS 会 将 每 一 项 任务 的 执行 情况 清晰 地 展示 在 变更 请 求 页面 上 ， 如 图 10-29 所 示 。 


[7 Change#: 2011071710000023 一 用 户 XXX, 要 求 为 192.168.1.1 服 务 器 添加 4GB 内 存 


JB | 历史 | 打印 | 编辑 | Involved Persons | Add Workorder | Conditions | &&X& | Move Time Slot | 模版 





m: 


2011.07.17 22:32:00 2011.07.17 22:44:00 2011.07.17 22:56:00 2011.07.17 23:08:00 2011.07.17 23:20:00 2011.07.17 23:32:00 





v ITSMChange - 用 户 XXX 要求 为 192 168 1 1 服务 器 添加 4GB 内 存 | 
t RÉP00CGEER78192.168.1.188 A RMAF 


Justification: 用 户 在 192.168.1.1 上 运行 的 数据 库 速度 过 锐 ， 检 查 后 发 现 ， AED ace 
故 在 与 客户 沟 角 后 ， 客 户 决定 增加 内 存 ， 以 提高 效 据 库 访问 速度 





附件 





图 10-29 包含 具体 任务 的 变更 请 求 页 面 
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变更 管理 一 定 要 结合 配置 管理 与 财务 管理 ， 将 购买 设备 这 样 的 事件 作为 一 个 变更 计划 ， 
否则 配置 信息 很 难 纳入 到 配置 管理 中 。 实 际 操作 中 具体 申报 人 要 同时 走 变更 管理 、 财 务 管 理 
与 配置 管理 的 工作 流程 。 

比如 之 前 指派 某 人 采购 内 存 ， 这 件 事 除了 在 变更 管理 上 要 有 所 体现 ， 具 体 的 执行 者 也 要 
使 用 配置 管理 的 工作 流程 ， 最 终 将 设备 纳入 到 配置 管理 数据 库 中 。 


10.3.7 配置 管理 


为 了 便于 管理 现 有 的 硬件 设施 和 新 增设 备 ， 我 们 需要 将 这 些 系统 软 硬 件 配置 信息 保存 在 
管理 系统 中 。 

这 里 要 注意 配置 管理 一 定 要 与 变更 管理 相 结合 。 比 如 当 现 有 系统 无 法 满足 要 求 ， 需 要 购 
买 新 的 设备 时 ， 变 更 管理 者 要 同时 更 新 配置 管理 数据 库 。 否 则 ， 随 着 时 间 的 变化 ， 越 来 越 多 
的 机 融 软 件 的 配置 信息 将 不 在 配置 管理 的 控制 下 ， 配 置 管理 也 就 失去 了 意义 。 

OTRS 中 的 配置 管理 模块 可 通过 管理 员 界 面 的 CMDB (Configuration Management Data 
Base) 菜单 选择 ， 如 图 10-30 所 示 。 









































增加 : 配置 项 

Filter for Classes 列表 
CLASSES 
Computer 
Hardware 

Hint Location 
Network 

Select a Class from the listto create a new Software 

Config Item. 


KI 10-30 CMDB 新 建 配 置 项 





在 CMDB 模块 中 ， 可 以 新 建 配 置 项 来 增加 新 的 配置 信息 。 

OTRS 支持 五 种 类 型 的 配置 项 。 

e Computer 计算 机 。 

e Hardware 硬件 。 

e Location 工作 场所 〈 机 房 、 办 公 楼 等 ) 。 

e Network 网 络 。 

e Software 软件 。 

假设 新 添加 了 一 台 VPS 服务 器 ， 我 们 就 可 以 添加 一 个 计算 机 类 型 的 配置 项 。 在 新 建 窗 
口中 可 以 输入 服务 器 供应 商 、CPU 类 型 、 准 备 分 配 的 地 址 等 信息 ， 如 图 10-31 所 示 。 

对 于 配置 项 来 说 ， 它 有 两 个 重要 的 状态 信息 ， 一 个 是 部 署 状态 ， 另 一 个 是 事件 状态 。 部 
署 状 态 包括 产生 、 修 复 、 到 期 、 回 收 、 复 审 、 已 规划 、 引 导 、 测 试 、 维 护 、 非 活动 等 。 事 件 
状态 包括 事件 、 可 用 等 。 

这 些 状态 便于 管理 员 管 理 各 种 计算 机 类 型 的 配置 项 ， 并 根据 具体 情况 设置 状态 。 
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我 们 可 以 将 所 有 的 软 硬 件 配置 信息 都 通过 CMDB 进行 配置 。CMDB 概况 页 面 可 以 清晰 地 
展示 这 些 配置 项 信息 ， 如 图 10-32 所 示 。 












Er] 统计 ”客户 | 系统 管理 





服务 [CMDB [isa CHANGES 
| 





IB Configuration Item: 1032000001 一 20110703VPS 服 务 器 





后 进 | 历史 | 编辑 | 打印 | 链接 | 复制 





VERSION INCIDENT STATE VERSION NUMBER 名 称 CREATED BY CHANGED ON 
nd 4. 20110703YPS 服 务 器 (产生 ) root@localhost (Admin OTRS) 2011.07.03 21:32:30 


[ w Configuration Item Version Details 





PROPERTY |a 

名称: 20110703VPS 58 538 
HIRE: 产生 
事件 状态 : 事件 
gs SkaterQiang 
型 号 Power2011 
描述 : 新 的 VPS 服 务 器 
类 型 : 服务 器 
所 有 者 : 
序列 号 : 111-111-111 
操作 系统 Linux 
CPU: Intel 32 core 
HE: 32GB 
ga 

ER 
FQDN: 
网 卡 : ethü 

从 DHCP 获取 IP: z 

P 地 址 : 192.168.1.1 
图 形 处 理 器 : 

| 保修 过 期 日 期 : . 2011.07.03. 


图 10-31 IRI 


服务 CMDB ITSM CHANGES 统计 客户 系统 管理 





概况 :ITSM Configltem: 全 部 
ES 1009991 Eo | meo | Sofware 2 











RE | CONFIGITEM# — m mA t | en | gie | sexes | LAST CHANGED 
mi 1036000002 Hadoop Software 产生 事件 2011.07.03 22:45:09 
I 1036000001 SymphonyDE Software 产生 事件 2011.07.03 22:44:32 


1032000001 20110703VPS58 & š Computer Bx 可 用 的 2011.07.03 22:43:35 


10-32 所 有 配置 项 概况 


10.3.8 其 他 管理 


本 章 所 介绍 的 OTRS ITSM 管理 工具 并 没有 提供 财务 管理 的 相关 界面 。 对 于 财务 管理 ， 
它 并 不 是 一 个 新 事物 ， 我 们 只 要 在 流程 管理 中 注意 将 变更 管理 、 服 务 级 别管 理 与 财务 管理 相 
结合 ， 完 全 可 以 重用 现 有 的 财务 管理 工具 。 

其 至 还 可 以 使 用 我 们 在 第 7 章 和 第 8 章 中 所 介绍 的 方法 来 建立 金融 模型 ， 对 财务 进行 实 
时 计算 ， 从 而 保证 收益 。 
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[19:4 小 结 


本 章 所 介绍 的 TT 服务 标准 不 但 可 以 为 云 计算 提供 管理 手段 ， 同 时 也 可 以 利用 云 计算 所 
提供 的 技术 手段 提高 实际 的 YT 管理 能 力 。 

相信 读者 一 定 对 如 何 通过 技术 手段 提高 服务 可 用 性 、 可 靠 性 管理 有 了 一 定 的 认识 。 结 合 
前 几 章 中 提 到 的 云 计算 laas 管理 工具 与 公共 云 计算 资源 可 以 扩展 现 有 IT 服务 的 基础 架构 。 
通过 Paas 管理 工具 可 以 扩展 单个 应 用 的 计算 能 力 以 适应 现在 或 未 来 的 需求 。 而 云 计算 框架 
提供 的 高 可 用 机 制 可 以 为 可 用 性 管理 提供 技术 保障 。 
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"m o x 
|MERA Hii Java 运行 环境 


本 书 大 部 分 章节 都 使 用 Java 语言 编写 。Java 是 一 种 很 容易 使 用 的 计算 机 编程 语言 ， 但 
很 多 朋友 却 不 能 很 好 地 使 用 Java 语言 进行 开发 ， 其 中 一 个 重要 的 原因 就 是 对 Java 运行 环境 
不 太 了 解 。 因 此 ， 这 里 将 介绍 如 何 搭 建 常见 的 Java 运行 环境 ， 以 使 读者 少 走 些 弯 路 ， 多 体 
会 些 编程 的 快乐 。 


[Sex Java SDK 


(1) 下 载 JDK6 

Java 1. 5 版 本 之 前 都 属于 Sun 公司 ， 自 从 Oracle 公司 收购 Sun 公司 之 后 ，Java 语言 也 属 
于 Oracle 公司 ， 可 以 从 Oracle 网 站 下 载 ， 网 址 如 下 : 

http :// www. oracle. com/ technetwork/ java/javase/downloads/index. html 

本 书 使 用 的 版 本 是 Java 6， 主 要 原因 是 Hadoop, AWS 一 般 使 用 Java 6 作为 运行 环境 ， 
E Java 6 版 本 可 以 运行 Java 6 及 以 前 版 本 的 Java 程序 ， 如 图 A-1 所 示 。 











Java SE 6 Update 27 JDK 


This release includes performance improvements, bug 
fixes and support for Firefox 5. Learn more > - 








K A-1 FE JDK6 


(2) 安装 JDK 6 

在 Windows 系统 中 双击 下 载 的 安装 包 ， 根 据 向 导 开 始 安装 。JDK 的 安装 包含 两 部 分 ， 
Java 开发 包 和 Java 运行 时 环境 。 其 中 ，jJava 运行 时 环境 会 与 浏览 器 集成 ， 只 有 安装 Java 运 
行 时 环境 才 可 以 使 用 Java 浏览 器 的 Applet 程序 。 在 Windows 系统 中 按照 提示 即 可 顺利 安装 。 

(3) 设置 环境 变量 

很 多 使 用 Java 的 程序 都 是 通过 环境 变量 来 找到 Java 安装 路 径 ， 从 而 获取 所 需 的 Java 运 
行 库 以 及 命令 。 右 击 “ 我 的 电脑 ”图 标 ， 在 弹出 的 快捷 菜单 中 选择 “属性 ”菜单 项 ， 此 时 
会 弹出 “系统 属性 ”对 话 框 ， 选 择 “ 高 级 ”选项 卡 ， 单 击 “ 环 境 变 量 ” 按 钮 ， 将 可 以 看 到 
如 图 A-2 所 示 的 “编辑 用 户 变 量 ” 对 话 框 。 

同样 ， 将 Java 命令 设置 在 PATH 变量 中 (变量 值 为 C: ProgramFiles\Java\jdk1. 6.0_27\ 
bin) ， 如 图 A-3 所 示 。 
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编辑 用 户 变 县 





变星 名 N): JAVA_HOME 





变量 值 V): C:\Program Files\Java\jdkl.6.0_27 























图 A-2 设置 JAVA_HOME 环境 变量 


























FRATE 28 

TEAN): PATH 

SEA V): | Files\Javatjdk1. 6B.0_27hbin:C: \Symp 
(ni) a) 











图 A-3 设置 PATH 环境 变量 








(4) 验证 Java SDK 是 否 安装 成 功 
在 命令 行 里 输入 java-version ， 将 出 现 如 下 关于 版 本 的 信息 。 


C: \Users \skaterhome > java-version 


java version "1. 6. 0_27" 


Java( TM) SE Runtime Environment( build 1. 6. 0_27 — b07 ) 
Java HotSpot( TM ) Client VM( build 20. 2 — b06 , mixed mode , sharing) 


(5) 在 Linux 系统 中 安装 Java SDK 

本 书 中 有 些 软件 ， 比 如 Hadoop 更 适合 在 Linux 系统 上 安装 ， 由 于 这 些 软件 基于 Java Jf 
发 ， 故 有 时 需要 在 Linux 上 安装 Java SDK。 在 Linux 运行 jdk -6u27 - linux - 1586. bin 即 可 将 
Java SDK 安装 到 指定 的 目录 (注意 使 用 命令 chmod +x 为 jdk -6u27 - linux - 1586. bin 赋予 
执行 权限 ) 。 在 Bash shell 中 设置 环境 变量 代码 如 下 : 


export JAVA. HOME = /opt/Linux, jdk1. 6. 0 27. x86/ 
export PATH = $ JAVA HOME/bin; $ PATH 


安装 Eclipse 





前 面 介 绍 了 如 何 安装 Java SDK, fij Java SDK 自 带 的 Javac 命令 可 以 编译 Java 程序 ， 通 
过 JDB 可 以 调试 Java 程序 。 但 通过 命令 行 开 发 Java 程序 需要 掌握 较 多 的 Java 命令 ， 开 发 界 
面 也 不 是 很 友好 ， 因 此 在 实际 Java 开发 中 ， 一 般 选 择 Eclipse 作为 Java 开发 工具 。 

(1) FE Eclipse 安装 包 

Eclipse 的 官方 下 载 地 址 是 http://www. eclipse. org/downloads/ 

在 该 地 址 中 有 多 个 版 本 的 Eclipse 可 供 选 择 ， 对 于 一 般 用 户 ， 建 议 下 载 Eclipse 经 典 版 
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(Eclipse Classic) 。 如 果 要 编写 可 以 在 Tomcat 服务 器 上 运行 的 应 用 程序 ， 可 以 选择 Eclipse 
IDE for Java EE Developers; 

(2) 安装 Eclipse 

Eclipse 安装 包 一 般 是 压缩 文件 ， 将 其 解压 缩 即 可 。 建 议 按照 Eclipse 的 版 本 ， 创 建 相 应 
的 解压 缩 文 件 夹 。 

(3) 为 Eclipse 安装 插件 

Eclipse 之 所 以 会 成 为 一 个 流行 的 Java 跨 平台 开发 环境 ， 不 光 是 因为 它 可 以 方便 地 在 Win- 
dows 和 Linux 操作 系统 上 运行 ,更 重要 的 是 它 提供 了 一 个 基于 插件 的 开发 环境 扩展 架构 。 读 者 
在 下 载 页 面 看 到 的 不 同 版 本 的 Eclipse 开发 环境 就 是 捆绑 了 不 同 插件 的 Eclipse。 

安装 Eclipse 插件 主要 有 两 种 方式 . 

1) 通过 网 络 安装 插件 。 启 动 Eclipse, 依次 单 击 Help 一 Install New Software ， 然 后 单 击 Add 
按钮 添加 插件 下 载 地 址 ， 如 图 A-4 所 示 。 

2) 本 地 复制 插件 文件 。 很 多 软件 ( 比如 Hadoop) 的 安装 包 中 就 自 带 了 Eclipse 插件 包 ， 
将 它 复 制 到 eclipse \ plugins 目录 中 。 重 启 Eclipse 即 可 。 

这 种 基于 插件 的 开发 环境 使 得 其 他 厂商 可 以 提供 基于 Eclipse 的 集成 开发 环境 。 但 
Eclipse 是 一 个 更 新 极 快 的 开源 项 目 ， 平均 每 半年 就 会 有 新 的 版 本 发 布 ， 很 多 插件 来 不 及 在 
Eclipse 的 最 新 发 布 版 本 上 测试 ， 在 这 样 的 情况 下 ， 我 们 有 时 不 得 不 选用 低 版 本 的 Eclipse 来 
安装 需要 的 插件 。Eclipse 的 老 版 本 可 以 从 其 官方 网 站 下 载 ， 网 址 为 : 

http :// wiki. eclipse. org/Older. Versions Of Eclipse 


aoTTT 一 所 二 二 


| 
Available Software 
| 
Check the items that you wish to install. 


Work with: datanucleus - http://www.datanucleus.org/downloads/eclipse-update/ X Add... 

















Find more software by working with the "Available Software Sites" preferences. 





type filter text 








Name Version 
| 4 [V] ü0) DataNucleus Eclipse Plugin 
| [V] % DataNucleus Eclipse Plugins 3.0.0.release 

















4 m 上 


| 
| iem selected 


Details 








[V] Show only the latest versions of available software Hide items that are already installed 


Í Z] Grou items by catego What is already installed? 
P y category already installed 





| [V] Contact all update sites during install to find required software 








@ EIN" [NEN 


图 A-4 ”通过 网 络 安装 插件 
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| 附录 B ZU Tomcat 应 用 服务 器 


本 书 中 部 分 应 用 程序 使 用 Java 开发 并 以 网 站 形式 向 用 户 提供 服务 ， 
用 Tomcat 作为 应 用 服务 器 。 

(1) FÆ Tomcat 6. 0 应 用 服务 器 

登录 http://tomcat. apache. org/download — 60. cgi, 


fÉ FÆ 32 - bit Windows zip 安装 包 ， 如 图 B-1 所 示 。 
ER 


Please see the README file for packaging information. It explains what every distribution contains. 


Binary Distributions 


* Core: 

e zip (pgp, mdb) 

o tar.gz (pgp, md5) 

o 32-bit Windows zip (pgp, md5) 

o 64-bit Windows zip (pgp, md5) 

o 64-bit Itanium Windows zip (pgp, md5) 
32-bit/64-bit Windows Service Installer (pgp, md5) 
* Deployer: 

e zip (pgp, md5) 

» tar.gz (pgp, md5) 


FE Tomcat 6. 0 应 用 服务 器 。 这 里 选 











o 





B-1  FZ Tomcat 6. 0 应 用 服务 器 


(2) 安装 Tomcat 6. 0 应 用 服务 需 
将 下 载 的 Tomcat 安装 包 apache -tomcat -6. 0. 30 - windows — x86. zip 文件 解 
所 示 。 


压缩 ， 如 图 B-2 





Ù apache-tomcat-6.0.30-windows-x86.zip - WinRAR (评估 版 本 ) 


apache-tomcat-6. 


m 7,195 KB 
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图 B-2 解压 缩 Tomcat 安装 包 


THA 命令 (C) 工具 (5) 收藏 来 (Dj 选项 (JM) 帮助 (H) 
: T. AS É 
A 
: 添加 ”解压 到 测试 
: 国 : B apache-tomcat-6.0.30 
名 称 e 目标 路 径 果 不 存 在 将 被 也 娃 ) 0» E 
e. C: tomcat 
ibi 
c 更 新 方式 El Desktop 
Dib O 解压 并 葵 换 交 件 R) 8€ (E) My Docunents 
Dlogs 名 解 讨 并 更 新 文件 U B 3 My Computer 
temp O gsm ERE F) Gd 3.5 Floppy (À)) 
webapps ESPE 日 T Disk £2: E 
ocuments and Se: 
. ipse OTREMAN OO 由 -器 Inetpub 
国 NoTICE ORB TER EERERES (0 H- Nsocache 
国 RELEASE-NOTES hep 6) tO Poga Files 
(Ug RUNNING.Oxt 自动 重 命名 D à E i 
EE 由 -一 windows on "Samba Se 
解 讨 文 件 到 子 目 录 L HO Shared Documents 
回 保留 损坏 的 文件 (0) W- pf s Documents 
口 在 资源 管理 器 中 显示 文件 O0 & € y Network Places 
RATRE V) < RN 
Em 








附录 | Hr «m 


解压 缩 Tomcat 安装 包 后 ， 需 要 设置 Tomcat 应 用 服务 器 的 用 户 名 及 密码 ， 用 “记事 本 ” 
方式 打开 C:\tomcat\apache -tomcat - 6. 0. 30 \conf\tomcat - users. xml, 


添加 如 下 代码 : 


« tomcat — users > 
< role rolename = " manager" / > 
< role rolename = " tomcat" / > 
< role rolename = " admin" / > 
< user username = " admin" password = "123456" roles  " admin , manager" / > 


«/ tomcat — users > 


(3) 运行 Tomcat 应 用 服务 器 

双击 C; MomcatVapache — tomcat - 6. 0. 30 \bin \startup. bat 文件 ， 可 启动 Tomcat 应 用 服务 
器 ， 如 图 B-3 所 示 。 

(4) 验证 Tomcat 应 用 服务 器 是 否 安装 成 功 

在 浏览 器 中 打开 http;//127. 0. 0.1:8080/， 可 见 图 B-4 所 示 的 Tomcat 管理 页 面 。 


In 








单 击 Tomcat Manager， 输 入 我 们 之 前 配置 的 用 户 名 和 密码 ， 可 管理 或 上 传 应 用 程序 包 。 我 们 





可 以 将 本 书 第 1 章 所 介绍 的 宠物 商店 程序 mybatis - jpetstore -6. 0. 0. war 部 署 到 Tomcat 中 ， 以 验证 




















是 否 正确 安装 。 如 果 安 装 存 在 问题 ， 可 以 查看 tomcat - 6. 0. 32 \logs \catalina. 2011 -xx -xx. log. (其 
中 xx 一 xx 








是 日 期 ， 即 某 月 某 日 ) 。 





2011—-1-15 22:23:56 org.apache.coyote.ajp.fijpfiprPr 
$S: Initializing Coyote AJP/1.3 on ajp-8009 
2911- 1-15 22:23:56 org.apache.catalina.startup.Catalina load 
: Initialization processed in 8865 ms 
2011- 1-15 22:23:56 org.apache.catalina.core.StandardService start 
HE : Starting service Catalina 
298ii-i-15 22:23:56 org.apache.catalina.core.StandardEngine start 
言 息 ,: Starting Servlet Engine: fipache Toncat/6.8.38 
:56 org.apache.catalina.startup.HostConfig deployDirectory 
Deploying web application directory docs 
1-15 22:23:57 org.apache.catalina.startup.HostConfig deployDirectory 
EX Deploying web application directory examples 
2011—1-15 22:23:58 org.apache.catalina.startup.HostConfig deployDirectory 
: Deploying web application directory host-manager 
28ii-i-i5 22:23:58 org.apache.catalina.startup.HostConfig deployDirectory 
ES Deploying web application directory manager 
:58 org.apache.catalina.startup.HostConfig deployDirectory 
web application directory ROOT 
:59 org.apache.coyote.httpii.HttpiifüiprProtocol start 
* Starting Coyote HTTP/1.1 on http-8888 
2011- 1-15 22:23:59 org.apache.coyote.ajp.fijpfiprProtocol start 
Hi: Starting Coyote AJP/1.3 on ajp-88089 
2611-1-15 22:23:59 org.apache.catalina.startup.Catalina start 
fi : Server startup in 3294 ms 











图 B-3 启动 Tomcat 应 用 服务 器 
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Fei 

Release Notes 

Change Log 

Tomcat Documentation 


EA 

Bug Database 

Open Bugs 

Users Mailing List 
Developers Mailing List 
IRC 





Apache Tomcat 
« A Apache Software Foundation 


http://www.apache.org/ 


If you're seeing this page via a web browser, it means you've setup Tomcat successfully. Congratulations! 
As you may have guessed by now, this is the default Tomcat home page. It can be found on the local filesystem at 


SCATALINA HOME/webapps/ROOT/index.html 


where "SCATALINA HOME" is the root of the Tomcat installation directory. If you're seeing this page, and you don't think you should be, then you're either a user who has 
arrived at new installation of Tomcat, or you're an administrator who hasn't got his/her setup quite right. Providing the latter is the case, please refer to the Tomcat 
Documentation for more detailed setup and administration information than is found in the INSTALL file. 

NOTE: For security reasons, using the manager webapp is restricted to users with role "manager". Users are defined in SCATALINA YOWE/con£/toncat-users. xnl. 


Included with this release are a host of sample Servlets and JSPs (with associated source code), extensive documentation, and an introductory guide to developing web 
applications. 


Tomcat mailing lists are available at the Tomcat project web site 


* users@tomcat.apache.org for general questions related to configuring and using Tomcat 
e dev@tomcat.apache.org for developers working on Tomcat 


Thanks for using Tomcat! 














图 B-4 Tomcat 管理 页 面 


附录 C 安装 JMeter 测试 工具 





本 书 第 1 章 中 使 用 JMeter 测试 网 站 的 访问 速度 ，JMeter 是 一 个 用 Java 语言 编写 的 网 站 


负载 测试 工具 。 
(1) 下 载 JMeter 

登录 http ;//jakarta. apache. org/jmeter/, FÆ JMeter， 如 图 C-1 所 示 。 

(2) 安装 JMeter 

将 下 载 的 jakarta - jmeter - 2. 4. zip 文件 解压 ， 配 置 好 Java 运行 环境 即 可 使 用 。 
(3) 运行 JMeter 

双击 jakarta - jmeter — 2. 4 \bin \jmeter. bat 文件 ， 可 见 JMeter 界面 如 图 C-2 所 示 。 


Other mirrors: | http-//mirror.bjtu.edu.cn/apache/ [=| 


The KEYS link links to the code signing keys used to sign the product. The ec? link downloads the OpenPGP compatible signature from our main 
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site. The Mp5 link downl 





loads the checksum from the main site. 


For more information concerning JMeter, see the JMeter site. 


KEYS 


* Binary 
: 24tgz 
" 242p 
E [mds 
* Source 
* 24 srctgz 


a [mds 


pap] 





= 24 srczip 


m [mds 














[pap] 





* browse download area 


* archives 


C-1 FÆ JMeter 
= Apache JMeter (24 r961953) H i “cn 








文件 编辑 运行 选项 帮助 


0/0 [- 





工作 台 
名 称 : | 工作 台 
注释 : 











C-2 JMeter 界面 





附录 D 


安装 MySQL 数据 库 


malmal 


本 书 第 6 章 使 用 MySQL 作为 单机 版 程序 的 数据 库 。MySQL 是 一 个 在 企业 中 广泛 应 用 的 


(1) 下 载 MySQL 数据 库 
登录 http://www. mysql. com/download 


Generally Available (GA) Releases | 


s/mysql/, PI FÆ MySQL 数据 库 ， 如 图 D-1 所 示 。 





MySQL Community Server 5.5.8 


Select Platform: 








Microsoft Windows 


E] 





Windows (x86, 32-bit), MSI Installer 


(mysql-5.5.8-win32.msi) 





Windows (x86, 64-bit), MSI Installer 
(mysql-5.5.8-winx64.msi) 

Windows (x86, 32-bit), ZIP Archive 
(mysal-5.5.8.zip) 

Windows (x86, 32-bit), ZIP Archive 
(mysql-5.5.8-win32.zip) 

Windows (x86, 64-bit), ZIP Archive 


(mysql-5.5.8-winx64.zip) 


图 





D-1 


(2) 安装 MySQL 数据 库 


Looking for previous GA versions? 


5.5.8 120.6M 


MD5: 491b624e86328cal16cb029acebO0c61fd | Signature 


MD5: b39111ae03bbaa4948cdf2eaS9eSdea8a | Signature 


MD5: 082ee988£6b1e852081a92d0ca3abd13 | Signature 


MD5: b66785a4affbc88b73837bb6c6d777be | Signature 


MD5: bd7612e41674578eccO02ff5cff54288c | Signature 


下 载 MySQL 数据 库 


5.5.8 122.7M 


5.5.8 


27.5M 


5.5.8 


132.5M 


5.5.8 134.7M 








这 里 以 MySQL 5. 5. 8 windows 发 布 版 为 例 ， 双 击 mysql - 5. 5. 8 - win32. msi 文件 开始 安 
选择 安装 Typical ， 然 后 单 击 Typical 按钮 ， 如 图 D-2 所 示 。 





i2 MySQL Server 5.5 Setup 





Choose Setup Type 


Choose the setup type that best suits your needs 








Allows users to choose whi 


Complete 


Installs the most common program Features. Recommended For most users. 


ch program features will be installed and where 


they will be installed. Recommended For advanced users. 


All program Features will be installed. Requires the most disk space. 








Mext 








D-2 


安装 MySQL 数据 库 
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云 计 算 : 应 用 开发 实践 





o pee 3 











会 提示 用 户 输入 密码 ， 这 是 超级 用 户 的 密码 ， 用 户 一 定 要 记 清 密码 ， 否 


所 示 。 


MySQL Server Instance Configuration Wizard 


MySQL Server Instance Configuration 


Configure the MySQL Server 5,5 server instance. 


Please set 


the security options. 


[v Modify Security Settings 


A New root password: precor Enter the root password, 
[ root | 


Confirm: porter Retype the password. 


[ Enable root access from remote machines 


厂 Create an Anonymous Account 


This option will create an anonymous account on this server. Please 
note that this can lead to an insecure system. 














图 D-3 设置 超级 用 户 密码 











(3) 通过 命令 行 简单 操作 MySQL 数据 库 











依次 单 击 “ 开 始 ”菜单 


框 中 输入 之 前 设置 的 密码 ， 


Welcome to the My 
our MySQL connec 


Server version: 5. 


opyright <c) 280808, 2018, Oracle and/or its 
his software comes with 
nd you are welcome 


, 


ype 'help;" or 


ysql> 





一 MySQL5. 5— MySQL 5. 5 Command Line Client， 在 弹出 的 对 话 





将 可 见 MySQL 命令 行 工具 如 图 D-4 所 示 。 


SQL monitor. Commands end with ; or Wg. E 
tion id is 1 F 
1.49-community MySQL Community Server GPL» 

affiliates. All rights reserved. 


ABSOLUTELY NO WARRANTY. This is free software, 
to modify and redistribute it under the GPL u2 license 


for help. Type '*c' to clear the current input statement. 


BUM 




















图 D-4 MySQL 命令 行 工具 





可 以 输入 命令 创建 数据 库 ， 命 令 代 码 如 下 : 





mysql > create database skaterdb ; 


Query OK,1 row affe 


cted(0. 03 sec) 


mysql > show databases; 





| Database 











| information, schema | 


| skaterdb 





10 rows in set(0. 15 

















684 
这 是 一 个 使 用 PHP P 语言 编 








sec) 





如 果 您 觉得 命令 行 的 方式 比较 难 上 手 ， 1 phpadmin ( http ;//www. phpmyadmin. net ) , 














写 的 MySQL 管理 程序 ， 这 里 就 不 再 详细 介绍 了 


sro dB 


写作 本 书 的 初衷 是 想 将 自己 几 年 的 学 习 心 得 和 工作 经 验 加 以 整理 ， 与 更 多 的 人 分 享 。 但 
在 本 书写 作 的 一 年 多 时 间 里 ， 家 里 发 生 了 很 多 事情 ， 写 书 也 从 一 开始 的 兴趣 变 成 了 我 忘却 痛 
昔 的 良药 ， 每 当 有 好 的 想法 时 ， 我 总 会 兴奋 得 彻夜 难 眠 ， 将 它 尽 快 转变 成 代码 与 文字 。 在 这 
个 过 程 中 ， 如 果 没 有 众多 朋友 和 同事 的 帮助 ， 我 便 不 可 能 完成 本 书 的 写作 而 仍然 保持 良好 的 
精神 状态 。 

我 的 妻子 刘 蔓 ， 她 是 本 书 的 第 一 位 读者 ， 帮 助 我 修改 了 书 中 众多 的 错别字 、 语 病 并 提供 
了 很 多 写作 方面 的 建议 。 另 外 她 还 担当 起 了 几乎 所 有 的 家 务工 作 ， 使 我 能 在 工作 之 余 全 身心 
投入 到 写作 中 。 

我 的 母亲 ， 总 是 在 我 们 出 现 困难 时 第 一 个 出 现 的 人 ， 她 不 仅 给 予 我 们 物质 上 的 帮助 Xe 
直接 来 到 我 们 所 在 的 城市 ， 手 把 手 地 照顾 我 们 的 起 居 生 活 。 

王 振 江 是 我 多 年 的 朋友 ， 直 接 参 与 了 本 书 第 6 章 的 写作 ， 并 给 予 我 很 多 写作 上 的 建议 。 

本 书 在 策划 阶段 得 到 了 机 械 工业 出 版 社 几 位 编辑 老师 的 帮助 ， 本 书 的 责任 编辑 都 是 对 工 
作 极 其 负责 任 的 人 ， 他 们 不 但 详 熟 各 种 新 技术 ， 而 且 有 足够 的 耐心 与 智慧 帮助 我 修改 每 一 


mAH 
Bi. 
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徐强 ，Platform Computing 资 深 系 统 开发 与 预 研 工程 师 。 对 云 计算 有 深入 研 : 
究 ， 实 战 经 验 丰富 。 直 接 参 与 设计 开发 多 款 大 型 并 行 计算 软件 ， 如 Platform 
Symphony、Platform MapReduce， 以 及 云 资 源 管理 软件 ISF。 现 致力 于 云 
计算 系统 的 预 研 工作 (Platform Pm em SEED UNI b 





e 合 内 容 简 介 @ ainen 


本 书 从 应 用 的 角度 出 发 ， 介 绍 了 利用 云 计算 相关 技术 构建 应 用 程序 应 具备 的 基础 知识 ， 包 括 
云 计算 的 相关 概念 、 虚 拟 元 、 并 行 计 算 、 集 群 计 算 、 分 布 式 数 据 存储 、IT 基 础 架构 管理 、 公 共和 与 
私有 云 计算 产品 以 及 如 何 管理 云 计 算数 据 中 心 等 相关 知识 。 

本 书 各 章 首 先 分 析 具 体 应 用 场景 ， 然 后 根据 场景 选择 适当 的 技术 与 架构 ， 最 后 再 对 具体 的 应 
用 展开 讲解 。 每 一 章 都 力争 通过 实际 操作 使 读者 理解 云 计算 的 相关 概念 与 技术 ， 并 将 负载 均衡 、 
文件 共享 、 数 据 挖掘 、 模 拟 计算 这 些 在 实际 工作 中 有 可 能 碰 到 的 问题 抽象 为 具体 的 应 用 ， 并 配 以 
代码 实现 。 为 了 便于 理解 ， 有 些 应 用 程序 还 给 出 了 单机 与 多 机 环境 双重 实现 。 

本 书 适合 对 云 计算 具有 初步 认识 并 希望 通过 云 计 算 逐 步 改 善 应 用 和 基础 设施 的 读者 阅读 ， 也 
可 供 云 计算 的 应 用 开发 人 员 、 行 业 专 业 人 士 以 及 相关 学 科 的 研究 者 参考 。 
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